Kolmogorowsche Differentialgleichungen

• In diesem Abschnitt zeigen wir, dass es einen eineindeutigen Zusammenhang zwischen (Matrix-) Übergangsfunktionen und ihren Intensitätsmatrizen gibt.
• Dabei zeigen wir zunächst in Verallgemeinerung von Theorem 2.15, dass die Übergangsfunktionen $p_{ij}(h)$ für jedes $h\ge 0$ differenzierbar sind.

Theorem 2.16   Für beliebige $i,j\in E$ und $h\ge 0$ sind die Übergangsfunktionen $p_{ij}(h)$ differenzierbar und genügen dem folgenden System von Differentialgleichungen:

$$p^{(1)}_{ij}(h)=\sum_{k\in E}q_{ik}p_{kj}(h)\qquad\forall\, i,j\in E,\,h\ge 0\,.$$ (24)

Beweis

 

• Sei $h,h^\prime >0$ mit $h^\prime<h$. Aus der Gleichung von Chapman-Kolmogorow, d.h. aus (8), ergibt sich dann, dass
  

  $$p_{ij}(h+h^\prime )-p_{ij}(h) = \sum_{k\in E}p_{ik}(h^\prime ) p_{kj}(h)-p_{ij}(h)$$

  $$= \sum_{k\neq i}p_{ik}(h^\prime )p_{kj}(h)+\bigl(p_{ii}(h^\prime )-1\bigr)p_{ij}(h)\,.$$

  
  

• Auf die gleiche Weise erhalten wir die Gleichungen:
  

  $$p_{ij}(h-h^\prime )-p_{ij}(h) = p_{ij}(h-h^\prime ) -\sum_{k\in E}p_{ik}(h^\prime ) p_{kj}(h-h^\prime )$$

  $$= -\sum_{k\neq i}p_{ik}(h^\prime )p_{kj}(h-h^\prime )-\bigl(p_{ii}(h^\prime )- 1\bigr)p_{ij}(h-h^\prime )\,.$$

  
  

• Wenn wir nun beide Seiten durch $h^\prime$ dividieren, den Grenzwert $h^\prime \downarrow 0$ bilden und die Stetigkeit von $p_{ij}(h)$ beachten, dann erhalten wir (24).
• Dabei nutzen wir die beiden folgenden Gleichungen, die sich aus Theorem 2.15 ergeben:
  $$\lim_{h^\prime \downarrow 0} \frac{1}{h^\prime }\sum_{k\neq i}p_{ik} (h^\prime)p_{kj}(h)= \sum_{k\neq i}q_{ik}p_{kj}(h)$$
  und
  $$\lim_{h^\prime \downarrow 0} \frac{1}{h^\prime }\sum_{k\neq i}p_{ik} (h^\prime)p_{kj}(h-h^\prime )= \sum_{k\neq i}q_{ik}p_{kj}(h)\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Die Differentialgleichungen in (24) werden Kolmogorowsche Rückwärtsgleichungen genannt.
• In Matrix-Schreibweise nimmt (24) die folgende Form an:

  $${\mathbf{P}}^{(1)}(h)={\mathbf{Q}}{\mathbf{P}}(h)\qquad\forall\, h\ge 0\,.$$ (25)

  
  

• Auf die gleiche Weise wie im Beweis von (24) lässt sich zeigen, dass

  $${\mathbf{P}}^{(1)}(h)={\mathbf{P}}(h){\mathbf{Q}}\qquad\forall\, h\ge 0\,.$$ (26)

  
  

• Dies ist die Matrix-Schreibweise der Kolmogorowschen Vorwärtsgleichung.
• Die Anfangsbedingung für beide Kolmogorowschen Differentialgleichungen ist ${\mathbf{P}}(0)={\mathbf{I}}$.

Zur Lösung der Differentialgleichungen (25) und (26) benötigen wir Hilfsmittel aus der Matrizenrechnung.

• Dabei setzen wir in diesem Abschnitt stets voraus, dass die betrachteten Matrizen die Dimension $\ell\times\ell$ haben, wobei Vektoren die Dimension $1\times \ell$ haben.
• Die Konvergenz von Matrizen bzw. Vektoren erfolgt eintragungsweise.
• Wenn beispielsweise $\{{\mathbf{A}}_n\}$ eine Folge von Matrizen ist, dann bedeutet ${\mathbf{A}}_n\to{\,{\bf0}}$ für $n\to\infty$, dass $({\mathbf{A}}_n)_{ij}\to0$ für beliebige $i,j=1,\ldots,\ell$.
• Die Matrix-Norm definieren wir so, dass die oben beschriebene Topologie induziert wird:
  • Für jeden Vektor ${\mathbf{x}}=(x_1,\ldots,x_\ell)^\top$ sei $\Vert{\mathbf{x}}\Vert=\sum_{i=1}^{\ell}\vert x_i\vert$, und
  • für jede $\ell\times\ell$-Matrix ${\mathbf{A}}=(a_{ij})$ sei $\Vert{\mathbf{A}}\Vert=\sum_{i,j=1,\ldots,\ell}\vert a_{ij}\vert$.

Beachte

 

• Für jedes $h\in\mathbb{R}$ gilt $\Vert h{\mathbf{A}}\Vert=\vert h\vert\,\Vert {\mathbf{A}}\Vert$, wobei $\Vert {\mathbf{A}}\Vert=0$ genau dann, wenn ${\mathbf{A}}={\,{\bf0}}$.
• Es ist klar, dass ${\mathbf{A}}_n\to{\,{\bf0}}$ genau dann, wenn $\Vert{\mathbf{A}}_n\Vert\to0$.
• Außerdem gilt für beliebige $\ell\times\ell$-Matrizen ${\mathbf{A}},{\mathbf{B}}$

  $$\Vert {\mathbf{A}}+{\mathbf{B}}\Vert\le\Vert{\mathbf{A}}\Vert+\Ve... ...mathbf{A}}{\mathbf{B}}\Vert\le\Vert{\mathbf{A}}\Vert\,\Vert{\mathbf{B}}\Vert\,.$$ (27)

  
  

Lemma 2.2   Für jedes $h_0>0$ konvergiert die Reihe $\sum_{n=0}^{\infty}(h{\mathbf{A}})^n/(n!)$ gleichmäßig in $h\in[-h_0,h_0]$.

Beweis

$\;$ Sei $h\in[-h_0,h_0]$, $\varepsilon>0$ und $m\in\mathbb{N}$. Dann ergibt sich aus (27), dass

$$\Bigl\Vert\sum_{n=0}^{\infty}\frac{(h{\mathbf{A}})^n}{n!} -\sum_{... ... \le \sum_{n=m+1}^{\infty}\frac{h_0^n\Vert{\mathbf{A}}\Vert^n}{n!}<\varepsilon$$

für jedes hinreichend große $m$, und zwar gleichmäßig in $h\in[-h_0,h_0]$.

$\Box$

Definition

 

1. Die Reihe $\sum_{n=0}^{\infty}(h{\mathbf{A}})^n/(n!)$ ist somit eine wohldefinierte Matrix-Funktion, die stetig für jedes $h\in\mathbb{R}$ ist. Sie wird Matrix-Exponentialfunktion genannt und mit

   $$\exp(h{\mathbf{A}})={\mathbf{I}}+h{\mathbf{A}}+\ldots+\frac{(h{\mathbf{A}})^n}{n!}+\ldots$$ (28)

   
   
   bezeichnet.
2. Sei ${\mathbf{A}}(h)$ eine beliebige Matrix-Funktion, so dass sämtliche Eintragungen differenzierbar in $h$ sind. Dann ist die Matrix-Ableitung ${\mathbf{A}}^{(1)}(h)$ gegeben durch
   $${\mathbf{A}}^{(1)}(h)= \lim_{h^\prime \to0}\;\frac{1}{h^\prime}\; ({\mathbf{A}}(h+h^\prime )-{\mathbf{A}}(h))\,.$$

Lemma 2.3   Die Matrix-Exponentialfunktion $\exp(h{\mathbf{A}})$ ist für jedes $h\in\mathbb{R}$ differenzierbar, und es gilt

$$\frac{{\rm d}\exp(h{\mathbf{A}})}{{\rm d}h}={\mathbf{A}}\exp(h{\mathbf{A}})=\exp(h{\mathbf{A}}){\mathbf{A}}\,.$$ (29)

Beweis

 

• Es gilt
  $$\frac{\exp((h+h^\prime ){\mathbf{A}})-\exp(h{\mathbf{A}})}{h^\pri... ...}{n!} +h^\prime \sum_{n=1}^\infty r_n(h,h^\prime )\frac{{\mathbf{A}}^n}{n!}\;,$$
  wobei für jedes $\vert h^\prime \vert\le \vert h\vert$

  $$0\le \vert r_n(h,h^\prime )\vert\le n(n-1)(2\vert h\vert)^n\,.$$ (30)

  
  

• Die Schranke (30) ergibt sich dabei durch Taylor-Reihenentwicklung der Funktion $g(x)=(h+x)^n-h^n$.
• Für ein $\theta\in[0,1]$ gilt also
  $$g(x)=xnh^{n-1}+\frac{x^2}{2}n(n-1)(h+\theta x)^{n-2}\,.$$

• Für $h^\prime \to0$ ergibt sich hieraus, dass
  $$\frac{{\rm d}\exp(h{\mathbf{A}})}{{\rm d}h}=\sum_{n=1}^\infty nh^{n-1}\frac{{\mathbf{A}}^n}{n!}\;.$$

• Außerdem gilt offenbar
  $$\sum_{n=1}^\infty nh^{n-1}\frac{{\mathbf{A}}^n}{n!}= {\mathbf{A}}... ...bf{A}})^n}{n!} =\sum_{n=0}^{\infty}\frac{(h{\mathbf{A}})^n}{n!}{\mathbf{A}}\,.$$
  
   
    $\Box$
  
  
  

Beachte

$\;$ Die $\ell\times\ell$-Matrizen ${\mathbf{A}},{\mathbf{A}}^\prime$ heißen kommutativ, wenn ${\mathbf{A}}{\mathbf{A}}^\prime ={\mathbf{A}}^\prime{\mathbf{A}}$ gilt. Es ist nicht schwierig zu zeigen, dass in diesem Fall

$$\exp({\mathbf{A}}+{\mathbf{A}}^\prime )=\exp({\mathbf{A}})\exp({\mathbf{A}}^\prime)\,.$$ (31)

Lemma 2.4    

• Sei ${\mathbf{Q}}$ eine beliebige $\ell\times\ell$-Matrix, so dass $q_{ij}\ge0$ für $i\neq j$ und ${\mathbf{Q}}{\mathbf{e}}={\,{\bf0}}$ gilt.
• Dann ist die Matrix-Exponentialfunktion $\{\exp(h{\mathbf{Q}}), h\ge 0\}$ eine Übergangsfunktion, die den Kolmogorowschen Differentialgleichungen $(\ref{kol.bac.mat})$ und $(\ref{kol.for.mat})$ genügt, d.h.,
• die Intensitätsmatrix der Übergangsfunktion $\{\exp(h{\mathbf{Q}}), h\ge 0\}$ ist gleich ${\mathbf{Q}}$.

Beweis

 

• Wenn ${\mathbf{Q}}={\,{\bf0}}$, dann ist die Aussage offensichtlich. Es gelte also nun ${\mathbf{Q}}\neq{\,{\bf0}}$.
• Wir überprüfen zunächst, dass $\exp(h{\mathbf{Q}})$ für jedes $h\ge 0$ eine stochastische Matrix ist.
  • Weil ${\mathbf{Q}}{\mathbf{e}}={\,{\bf0}}$, gilt ${\mathbf{Q}}^n{\mathbf{e}}={\,{\bf0}}$ für jedes $n=1,2,\ldots$
  • und somit $\exp(h{\mathbf{Q}}){\mathbf{e}}={\mathbf{e}}$.
• Um zu zeigen, dass sämtliche Eintragungen von $\exp(h{\mathbf{Q}})$ nichtnegativ sind, setzen wir
  $$a=\max\{-q_{ii}:i=1,\ldots,\ell\}\,.$$
  • Dann ist die Matrix $\tilde{{\mathbf{P}}}$ mit

    $$\tilde{{\mathbf{P}}}=a^{-1} {\mathbf{Q}}+{\mathbf{I}}$$ (32)

    
    
    nichtnegativ, und wegen $\tilde{{\mathbf{P}}}{\mathbf{e}}=a^{-1}{\mathbf{Q}}{\mathbf{e}}+{\mathbf{I}}{\mathbf{e}}={\mathbf{e}}$ ist $\tilde{{\mathbf{P}}}$ auch stochastisch.
  • Aus der Darstellungsformel

    $$\exp(h{\mathbf{Q}})=\exp(a h(\tilde{{\mathbf{P}}}-{\mathbf{I}})) =\sum_{n=0}^\infty \frac{(a h)^n(\tilde{{\mathbf{P}}})^n}{n!}\,{\rm e}^{-a h}$$ (33)

    
    
    ergibt sich nun, dass die Eintragungen von $\exp(h{\mathbf{Q}})$ nichtnegativ sind.
  • Dabei wird bei der Herleitung von (33) die Identität (31) benutzt zusammen mit der Tatsache, dass $\exp(-ah{\mathbf{I}})={\rm e}^{-ah}{\mathbf{I}}$.
• Außerdem ergibt sich aus (31), dass $\exp(h{\mathbf{Q}})$ der Chapman-Kolmogorow-Gleichung (8) genügt.
• Mit Hilfe von (29) ergibt sich nun, dass ${\mathbf{Q}}$ die Intensitätsmatrix der Übergangsfunktion $\exp(h{\mathbf{Q}})$ ist, d.h., $\exp(h{\mathbf{Q}})$ ist eine Lösung von (25) und (26).
  
  $\Box$

Theorem 2.17   Jede Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ lässt sich wie folgt durch ihre Intensitätsmatrix ${\mathbf{Q}}$ ausdrücken: Es gilt

$${\mathbf{P}}(h)=\exp(h{\mathbf{Q}})\qquad\forall\, h\ge 0\,.$$ (34)

Beweis

 

• Aus Lemma 2.4 folgt, dass die Matrix-Funktion $\{{\mathbf{P}}^\prime(h)\}$ mit ${\mathbf{P}}^\prime(h)=\exp(h{\mathbf{Q}})$ eine Lösung der Kolmogorowschen Rückwärtsgleichung (25) ist, die der Anfangsbedingung ${\mathbf{P}}^\prime(0)={\mathbf{I}}$ genügt.
• Aus der Theorie der gewöhnlichen linearen Differentialgleichungssysteme ergibt sich dann, dass diese Lösung eindeutig bestimmt ist.
• Somit gilt ${\mathbf{P}}^\prime(h)={\mathbf{P}}(h)$ für jedes $h\ge 0$.
  
  $\Box$

Beachte

 

• Zusammen mit Theorem 2.17 ergibt sich aus (32) und (33)
  • die folgende Darstellungsformel der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$:

    $${\mathbf{P}}(h)=\sum_{n=0}^\infty \frac{(a h)^n(\tilde{{\mathbf{P}}})^n}{n!}\,{\rm e}^{-a h}\qquad\forall\, h\ge 0\,,$$ (35)

    
    
    wobei $\tilde{{\mathbf{P}}}=a^{-1} {\mathbf{Q}}+{\mathbf{I}}$ eine stochastische Matrix ist und $a=\max\{-q_{ii}:i=1,\ldots,\ell\}$.
  • Aus (35) folgt insbesondere, dass $p_{ii}(h)>0$ für beliebige $i\in E$ und $h\ge 0$.
• Ähnlich wie bei Markow-Ketten mit diskreter Zeit (vgl. Abschnitt MK-2.1.4) kann die Spektraldarstellung von ${\mathbf{Q}}^n$ zur Berechnung der Matrix-Exponentialfunktion ${\mathbf{P}}(h)=\exp(h{\mathbf{Q}})$ verwendet werden, falls die Eigenwerte $\theta_1,\ldots,\theta_\ell\not=0$ von ${\mathbf{Q}}$ paarweise verschieden sind.
• Zur Erinnerung
  • Sei ${\mathbf{A}}$ eine beliebige $\ell\times\ell$ Matrix, seien ${\boldsymbol{\phi}},{\boldsymbol{\psi}}\not={\bf0}$ zwei $\ell$-dimensionale (Spalten-) Vektoren, so daß jeweils mindestens eine ihrer Komponenten von 0 verschieden ist, und sei $\theta$ eine beliebige (reelle oder komplexe) Zahl.
  • Falls

    $${\mathbf{A}}{\boldsymbol{\phi}}=\theta {\boldsymbol{\phi}} \qquad {\boldsymbol{\psi}}^\top{\mathbf{A}}=\theta {\boldsymbol{\psi}}^\top\,,$$ (36)

    
    
    dann ist $\theta$ ein Eigenwert von ${\mathbf{A}}$, und ${\boldsymbol{\phi}}$ bzw. ${\boldsymbol{\psi}}$ ist ein rechter bzw. linker (zu $\theta$ gehörender) Eigenvektor.
  • Weil (36) und
    $$({\mathbf{A}}-\theta{\mathbf{I}}) {\boldsymbol{\phi}}={\bf0}$$   bzw.$$\qquad {\boldsymbol{\psi}}^\top({\mathbf{A}}-\theta{\mathbf{I}})={\bf0}^\top\,,$$
    äquivalent sind, ist $\theta$ genau dann ein Eigenwert von ${\mathbf{A}}$, wenn $\theta$ eine Lösung der sogenannten charakteristischen Gleichung ist:

    $$\det({\mathbf{A}}-\theta{\mathbf{I}})=0\,.$$ (37)

    
    

  • Weil (37) eine algebraische Gleichung der Ordnung $\ell$ ist, besitzt sie somit $\ell$ Lösungen $\theta_1,\ldots,\theta_\ell$, die komplex sein können und die nicht alle voneinander verschieden sein müssen.
  • Wir nehmen o.B.d.A. an, dass die Eigenwerte $\theta_1,\ldots,\theta_\ell$ so numeriert sind, dass
    $$\vert\theta_1\vert\ge\vert\theta_2\vert\ge\ldots\ge\vert\theta_\ell\vert\,.$$

  • Für jeden Eigenwert $\theta_i$ existieren (jeweils von ${\bf0}$ verschiedene) rechte bzw. linke Eigenvektoren ${\boldsymbol{\phi}}_i$ bzw. ${\boldsymbol{\psi}}_i$.
  • Sei ${\boldsymbol{\Phi}}=({\boldsymbol{\phi}}_1,\ldots,{\boldsymbol{\phi}}_\ell)$ die $\ell\times\ell$ Matrix, die aus den rechten Eigenvektoren ${\boldsymbol{\phi}}_1,\ldots,{\boldsymbol{\phi}}_\ell$ besteht, und sei
    $${\boldsymbol{\Psi}}=\left(\begin{array}{c} {\boldsymbol{\psi}}_1^\top \\ \vdots \\ {\boldsymbol{\psi}}_\ell^\top \end{array}\right)$$
    die $\ell\times\ell$ Matrix, die aus den linken Eigenvektoren ${\boldsymbol{\psi}}_1,\ldots,{\boldsymbol{\psi}}_\ell$ gebildet wird.
  • Mit dieser Schreibweise ergibt sich, dass

    $${\mathbf{A}}{\boldsymbol{\Phi}}={\boldsymbol{\Phi}}\,{\,{\rm diag}}({\boldsymbol{\theta}})\,,$$ (38)

    
    
    wobei ${\boldsymbol{\theta}}=(\theta_1,\ldots,\theta_\ell)^\top$ und ${\,{\rm diag}}({\boldsymbol{\theta}})$ die Diagonalmatrix mit den Diagonalelementen $\theta_1,\ldots,\theta_\ell$ bezeichnet.
• Falls die Eigenwerte $\theta_1,\ldots,\theta_\ell\not=0$ paarweise verschieden sind, dann sind die Eigenvektoren ${\boldsymbol{\phi}}_1,\ldots,{\boldsymbol{\phi}}_\ell$ linear unabhängig (vgl. beispielsweise Lemma MK-2.2).
  • Somit existiert die inverse Matrix ${\boldsymbol{\Phi}}^{-1}$, und wir können ${\boldsymbol{\Psi}}={\boldsymbol{\Phi}}^{-1}$ setzen.
  • Außerdem ergibt sich in diesem Fall aus (38), dass
    $${\mathbf{A}}={\boldsymbol{\Phi}}\,{\,{\rm diag}}({\boldsymbol{\th... ...={\boldsymbol{\Phi}}\,{\,{\rm diag}}({\boldsymbol{\theta}}){\boldsymbol{\Psi}}$$
    bzw.
    $${\mathbf{A}}^n={\boldsymbol{\Phi}}({\,{\rm diag}}({\boldsymbol{\t... ...ldsymbol{\Phi}}({\,{\rm diag}}({\boldsymbol{\theta}}))^n{\boldsymbol{\Psi}}\,.$$

  • Hieraus ergibt sich die Spektraldarstellung von ${\mathbf{A}}^n$ mit

    $${\mathbf{A}}^n=\sum_{i=1}^\ell\theta^n_i{\boldsymbol{\phi}}_i{\boldsymbol{\psi}}_i^\top\,.$$ (39)

    
    

• Falls die Eigenwerte $\theta_1,\ldots,\theta_\ell\not=0$ der Intensitätsmatrix ${\mathbf{Q}}$ paarweise verschieden sind, dann gilt also

  $${\mathbf{P}}(h)=\sum_{i=1}^\ell{\rm e}^{h\theta_i}{\boldsymbol{\phi}}_i{\boldsymbol{\psi}}_i^\top$$ (40)

  
  
  für jedes $h\ge 0$, wobei ${\boldsymbol{\phi}}_i,{\boldsymbol{\psi}}_i$ (rechte bzw. linke) Eigenvektoren des Eigenwertes $\theta_i$ sind.