Stationäre Anfangsverteilungen

Ähnlich wie bei Markow-Ketten mit diskreter Zeit (vgl. Abschnitt MK-2.2.4) betrachten wir nun eine spezielle Klasse von Anfangsverteilungen, die invariant bezüglich der Übergangsfunktion von Markow-Prozessen sind.

Definition

$\;$ Die Wahrscheinlichkeitsfunktion ${\boldsymbol{\alpha}}=(\alpha_1,\ldots,\alpha_\ell)^\top$ heißt stationäre Anfangsverteilung bezüglich der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$, falls

$${\boldsymbol{\alpha}}^\top{\mathbf{P}}(h)={\boldsymbol{\alpha}}^\top \qquad\forall\; h\ge 0\,.$$ (46)

Beachte

$\;$

• Wegen der Endlichkeit des Zustandsraumes $E$ gilt für jede stationäre Anfangsverteilung ${\boldsymbol{\alpha}}$:
  $${\,{\bf0}}=\lim_{h\to0}\frac{{\boldsymbol{\alpha}}^\top({\mathbf{P}}(h)-{\mathbf{I}})}{h}={\boldsymbol{\alpha}}^\top{\mathbf{Q}}\,.$$

• Es gilt auch die umgekehrte Implikation: Aus ${\boldsymbol{\alpha}}^\top{\mathbf{Q}}={\,{\bf0}}$ folgt die Gültigkeit von ${\boldsymbol{\alpha}}^\top{\mathbf{Q}}^n={\,{\bf0}}$ und somit auch
  $${\boldsymbol{\alpha}}^\top{\mathbf{P}}(h)={\boldsymbol{\alpha}}^\... ...ac{(h{\mathbf{Q}})^n}{n!} ={\boldsymbol{\alpha}}^\top\qquad\forall\, h\ge 0\,.$$

• Im allgemeinen muss jedoch die Existenz einer Wahrscheinlichkeitsfunktion ${\boldsymbol{\alpha}}=(\alpha_1,\ldots,\alpha_\ell)^\top$, die der Gleichung (46) genügt, bzw. die eindeutige Lösbarkeit von (46) nicht immer gewährleistet sein.
• Andererseits lassen sich, ähnlich wie bei (zeitdiskreten) aperiodischen und irreduziblen Markow-Ketten, stationäre Anfangsverteilungen von Markow-Prozessen auch als Grenzverteilungen charakterisieren.
  • Dabei ist die Situation im zeitstetigen Fall sogar einfacher, denn aus der Darstellungsformel (35) der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ folgt, dass $p_{ii}(h)>0$ für beliebige $i\in E$ und $h\ge 0$.
  • Die bei Markow-Ketten betrachtete Bedingung der Aperiodizität muss also bei Markow-Prozessen nicht extra vorausgesetzt werden, sondern wir benötigen lediglich die Irreduzibilität.

Definition

$\;$ Die Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ heißt irreduzibel, falls

$$p_{ij}(h)>0\qquad\forall\, i\neq j,\; h>0\,.$$ (47)

Beachte

$\;$ Man kann leicht zeigen, dass

• die Bedingung (47) mit der Irreduzibilität der Intensitätsmatrix ${\mathbf{Q}}$ äquivalent ist,
• d.h., für beliebige $i,j\in E$ mit $i\neq j$ gibt es eine Folge von Zuständen $i_1,\ldots,i_{n-1}\in E$ mit $i_k\neq i_l$, so dass $q_{ii_1}q_{i_1i_2}\ldots q_{i_{n-1}j}>0$.

Das folgende Theorem zeigt darüber hinaus: Die Irreduzibilität der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ bzw. der Intensitätsmatrix ${\mathbf{Q}}$ impliziert, dass es eine (eindeutig bestimmte) stationäre Anfangsverteilung bezüglich der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ gibt.

Theorem 2.20   Wenn die Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ irreduzibel ist, dann existiert der Grenzwert

$$\lim_{t\to\infty}P(X_t=i)=\pi_i$$ (48)

für jedes $i\in E$, wobei ${\boldsymbol{\pi}}=(\pi_1,\ldots,\pi_\ell)^\top$ die (eindeutig bestimmte) stationäre Anfangsverteilung bezüglich $\{{\mathbf{P}}(h),h\ge 0\}$ ist.

Beweis

$\;$

• Die Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ sei irreduzibel.
• Wegen (35) gilt dann $p_{ij}(h)>0$ für beliebige $i,j\in E$ und $h>0$, d.h., für jedes $h>0$ sind sämtliche Eintragungen der Übergangsmatrix ${\mathbf{P}}(h)$ positiv.
• Aus Theorem MK-2.4 ergibt sich nun, dass die eingebettete Markow-Kette $\{X_{nh},\,n\ge 0\}$ mit der (einstufigen) Übergangsmatrix ${\mathbf{P}}(h)$ für jedes $h>0$ ergodisch ist, d.h., es gilt
  $$\lim_{n\to\infty}{\mathbf{P}}(nh)={\boldsymbol{\Pi}}\qquad\forall\,h>0\,$$
  wobei ${\boldsymbol{\Pi}}$ eine $\ell\times\ell$-Matrix ist, deren Zeilen gleich ${\boldsymbol{\pi}}^\top$ sind.
• Weil die Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ gleichmäßig stetig in $h\ge 0$ ist, gibt es für jedes $\varepsilon>0$ eine (kleine) Zahl $h_0>0$, so dass es für jedes hinreichend große $t>0$ eine natürliche Zahl $n$ gibt mit
  $$\Vert{\mathbf{P}}(t)-{\boldsymbol{\Pi}}\Vert\le\Vert{\mathbf{P}}(... ...nh_0)\Vert +\Vert{\mathbf{P}}(nh_0)-{\boldsymbol{\Pi}}\Vert\le 2\varepsilon\,.$$
  
   
    $\Box$
  
  
  

Beachte

$\;$

• Sei $\{X_t,\,t\ge 0\}$ ein Markow-Prozess mit der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ und der stationären Anfangsverteilung ${\boldsymbol{\alpha}}$.
• Dann kann man leicht zeigen, dass $\{X_t,\,t\ge 0\}$ ein stationärer Prozess ist, d.h., für die endlich-dimensionalen Verteilungen von $\{X_t\}$ gilt
  $$P(X_0=i_0,X_{t_1}=i_1,\ldots,X_{t_n}=i_n) =P(X_h=i_0,X_{t_1+h}=i_1,\ldots,X_{t_n+h}=i_n)$$
  für beliebige $n=0,1,\ldots,\; i_0,i_1,\ldots,i_n\in E,\; 0\le t_1\le\ldots \le t_n,\; h>0$.
• Insbesondere ist dann $\{X_t,\,t\ge 0\}$ ein Prozess mit stationären Zuwächsen, die jedoch im allgemeinen nicht unabhängig sein müssen.