Markow-Prozesse mit endlich vielen Zuständen

Wir beginnen mit einem kurzen Rückblick auf Markow-Prozesse mit diskreter Zeit, die in der Literatur Markow-Ketten genannt werden und die beispielsweise in der Vorlesung ,,Markov Chains and Monte-Carlo Simulation'' im SS 2006 ausführlich behandelt wurden.

• Das stochastische Modell der zeitdiskreten Markow-Ketten (mit endlich vielen Zuständen) besteht aus den drei Komponenten: Zustandsraum, Anfangsverteilung und Übergangsmatrix.
  • Den Ausgangspunkt bildet die (endliche) Menge aller möglichen Zustände, die Zustandsraum der Markow-Kette genannt wird und die o.B.d.A. mit der Menge $E=\{1,2,\ldots,\ell\}$ identifiziert werden kann, wobei $\ell\in\{1,2,\ldots\}$ eine beliebige, jedoch fest vorgegebene natürliche Zahl ist.
  • Für jedes $i\in E$ sei $\alpha_i$ die Wahrscheinlichkeit, dass sich das betrachtete System zum ,,Zeitpunkt'' $n=0$ im Zustand $i$ befindet, wobei

    $$\alpha_i\in[0,1] ,\qquad\sum\limits_{i=1}^\ell \alpha_i=1$$ (1)

    
    
    vorausgesetzt wird. Der Vektor ${\boldsymbol{\alpha}}=(\alpha_1,\ldots,\alpha_\ell)^\top$ der (Einzel-) Wahrscheinlichkeiten $\alpha_1,\ldots,\alpha_\ell$ bildet die Anfangsverteilung der Markow-Kette.
  • Außerdem betrachten wir für jedes Paar $i,j\in E$ die (bedingte) Wahrscheinlichkeit $p_{ij}\in[0,1]$, dass das betrachtete System in einem Schritt aus dem Zustand $i$ in den Zustand $j$ übergeht.
  • Die $\ell\times\ell$ Matrix ${\mathbf{P}}=(p_{ij})_{i,j=1,\ldots,\ell}$ der Übergangswahrscheinlichkeiten $p_{ij}$ mit

    $$p_{ij}\ge0 ,\qquad \sum_{j=1}^\ell p_{ij}=1 ,$$ (2)

    
    
    heißt (einstufige) Übergangsmatrix der Markow-Kette.
• Für jede Menge $E=\{1,2,\ldots,\ell\}$, für jeden Vektor ${\boldsymbol{\alpha}}=(\alpha_1,\ldots,\alpha_\ell)^\top$ bzw. jede Matrix ${\mathbf{P}}=(p_{ij})$, die den Bedingungen (1) und (2) genügen, kann nun der Begriff der zugehörigen Markow-Kette wie folgt eingeführt werden.

Definition

 

• Sei $X_0,X_1,\ldots:\Omega\to E$ eine Folge von Zufallsvariablen, die über einunddemselben Wahrscheinlichkeitsraum $(\Omega,\mathcal{F},P)$ definiert sind und ihre Werte in der Menge $E=\{1,2,\ldots,\ell\}$ annehmen.
• Dann heißt $X_0,X_1,\ldots$ (homogene) Markow-Kette mit der Anfangsverteilung ${\boldsymbol{\alpha}}=(\alpha_1,\ldots,\alpha_\ell)^\top$ und der Übergangsmatrix ${\mathbf{P}}=(p_{ij})$, falls

  $$P(X_0=i_0,X_1=i_1,\ldots, X_n=i_n) =\alpha_{i_0}p_{i_0i_1}\ldots p_{i_{n-1}i_n}$$ (3)

  
  
  für beliebige $n=0,1,\ldots$ und $i_0,i_1,\ldots,i_n\in E$ gilt.

Beachte

 

• Für beliebige $n\ge 1$ und $i,j\in E$ kann das Produkt $p_{ii_1}p_{i_1i_2}\ldots p_{i_{n-1}j}$ als die Wahrscheinlichkeit des ,,Pfades'' $i\to i_1\to\ldots\to i_{n-1}\to j$ aufgefasst werden.
• Analog hierzu kann die Summe

  $$p_{ij}^{(n)}= \sum_{i_1,\ldots,i_{n-1}\in E}p_{ii_1}p_{i_1i_2}\ldots p_{i_{n-1}j}$$ (4)

  
  
  als die Wahrscheinlichkeit des Überganges vom Zustand $i$ in den Zustand $j$ in $n$ Schritten aufgefasst werden, wobei

  $$p_{ij}^{(n)}=P(X_n=j\mid X_0=i) ,$$ (5)

  
  
  falls $P(X_0=i)>0$.
• Die stochastische Matrix ${\mathbf{P}}^{(n)}=(p_{ij}^{(n)})_{i,j=1,\ldots,\ell}$ wird die $n$-stufige Übergangsmatrix der Markow-Kette $\{X_n\}$ genannt.
• Mit der Schreibweise ${\mathbf{P}}^{(0)}={\mathbf{I}}$, wobei ${\mathbf{I}}$ die $\ell\times\ell$-dimensionale Einheitsmatrix bezeichnet, lässt sich sich die mehrstufigen Übergangsmatrizen ${\mathbf{P}}^{(n)}$ wie folgt darstellen:
  • Für beliebige $n,m=0,1,\ldots$ gilt

    $${\mathbf{P}}^{(n)}={\mathbf{P}}^n$$ (6)

    
    

  • und somit

    $${\mathbf{P}}^{(n+m)}={\mathbf{P}}^{(n)}{\mathbf{P}}^{(m)}.$$ (7)

    
    

• Die Matrix-Identität (7) wird in der Literatur Gleichung von Chapman-Kolmogorov genannt.