Übergangsintensitäten

Mit der Schreibweise $\delta_{ij}=1$, falls $i=j$, und $\delta_{ij}=0$, falls $i\not= j$, können wir die folgende grundlegende Differenzierbarkeitseigenschaft von Übergangsfunktionen formulieren.

Theorem 2.15   Sei $\{{\mathbf{P}}(h),h\ge 0\}$ eine Übergangsfunktion. Dann existieren die (endlichen) Grenzwerte

$$q_{ij}=\lim_{h\downarrow 0} \frac{1}{h} \;(p_{ij}(h)-\delta_{ij})\,.$$ (13)

Beweis

 

• Weil in der Behauptung von Theorem 2.15 die Anfangsverteilung nicht näher spezifiziert wird, können wir ohne Einschränkung der Allgemeinheit annehmen,
  • dass $P(X_0=i)>0$ für jedes $i\in E$ gilt,
  • wobei wir die Gültigkeit von (13) zuerst für $i\neq j$ zeigen.
• Dabei setzen wir $p^{j0}_{ii}(h)=1$ und
  

  $$p^{jv}_{ii}(h) = P(X_{vh}=i;X_{kh}\neq j,1\le k<v\mid X_0=i)\,,$$

  $$f^{v}_{ij}(h) = P(X_{vh}=j;X_{kh}\neq j,1\le k<v\mid X_0=i)\,.$$

  
  

• Aus (8) ergibt sich dann, dass

  $$p_{ij}(nh)\ge \sum_{v=0}^{n-1}p^{jv}_{ii}(h)p_{ij}(h)p_{jj}((n-v-1)h)$$ (14)

  
  
  und

  $$p_{ii}(vh)=p_{ii}^{jv}(h)+\sum_{m=1}^{v-1}f_{ij}^m(h)p_{ji}((v-m)h)\,.$$ (15)

  
  

• Weil $\sum_{m=1}^{v-1}f_{ij}^m(h)\le 1$ gilt, ergibt sich aus (15) die Ungleichung

  $$p_{ii}^{jv}(h)\ge p_{ii}(vh)-\max_{1\le m<v}p_{ji}((v-m)h)\,.$$ (16)

  
  

• Mit Hilfe von (9) erhalten wir nun, dass es für beliebige $\varepsilon>0$ und $i,j\in E$ mit $i\neq j$ ein $h_0>0$ gibt, so dass

  $$\max_{0\le h\le h_0}p_{ji}(h)<\varepsilon,\quad \min_{0\le h\le h_0}p_{ii}(h)>1-\varepsilon,\quad \min_{0\le h\le h_0}p_{jj}(h)>1-\varepsilon.$$ (17)

  
  
  • Für $nh<h_0$ und $v\le n$ ergibt sich somit aus (16), dass $p_{ii}^{jv}(h)>1-2\varepsilon$.
  • Wenn man dies in (14) einsetzt, dann ergibt sich die Ungleichung
    $$p_{ij}(nh)\ge (1-2\varepsilon)\sum_{v=0}^{n-1}p_{ij}(h)(1-\varepsilon)\ge (1-3\varepsilon)np_{ij}(h)$$
    bzw.

    $$\frac{p_{ij}(nh)}{nh}\ge (1-3\varepsilon)\frac{p_{ij}(h)}{h}$$ (18)

    
    
    für $nh<h_0$.
• Mit der Schreibweise $a_{ij}=\liminf_{h\to 0}p_{ij}(h)/h$ ergibt dies, dass $a_{ij}<\infty$.
  • Denn, wenn $a_{ij}=\infty$ gelten würde, dann würde es ein beliebig kleines $h$ geben, so dass $p_{ij}(h)/h$ beliebig groß ist.
  • Wegen (18), würde auch $p_{ij}(nh)/nh$ beliebig groß werden.
  • Wenn andererseits $n$ so gewählt wird, dass $h_0/2\le nh<h_0$, dann ergibt (17), dass
    $$\frac{p_{ij}(nh)}{nh}<\frac{\varepsilon}{nh}<h_0^{-1}{2\varepsilon}\,.$$

• Somit gilt $a_{ij}<\infty$, und es genügt zu zeigen, dass

  $$\limsup_{h\to 0} \frac{p_{ij}(h)}{h}\le a_{ij}\,.$$ (19)

  
  
  • Aus der Definition von $a_{ij}$ folgt, dass es ein $h_1<h_0$ gibt mit $h_1^{-1}{p_{ij}(h_1)}<a_{ij}+\varepsilon$.
  • Weil $p_{ij}(h)$ stetig ist, gilt für jedes hinreichend kleine $t_0$ mit $h_1+t_0<h_0$ die Ungleichung
    $$\frac{p_{ij}(t)}{t}<a_{ij}+\varepsilon$$
    für $h_1-t_0<t<h_1+t_0$.
  • Aus (18) ergibt sich nun, dass man für jedes $h<t_0$ eine ganze Zahl $n_h$ finden kann, so dass
    $$h_1-t_0<n_hh<h_1+t_0$$   und$$\qquad (1-3\varepsilon)\;\frac{p_{ij}(h)}{h}\le \frac{p_{ij}(n_hh)}{n_hh} <a_{ij}+\varepsilon\,.$$

  • Weil $\varepsilon>0$ beliebig ist, ergibt sich hieraus die Gültigkeit von (19).
• Damit ist die Existenz der Grenzwerte $q_{ij}$ in (13) für $i\neq j$ bewiesen.
• Weil der Zustandsraum $E$ endlich ist und ${\mathbf{P}}(h)$ eine stochastische Matrix ist, gilt außerdem

  $$\lim_{h\downarrow 0}\frac{p_{ii}(h)-1}{h} = - \lim_{h\downarrow 0... ...m_{j\neq i}\lim_{h\downarrow 0} \frac{p_{ij}(h)}{h} = - \sum_{j\neq i}q_{ij}\,.$$ (20)

  
  

Damit ist die Behauptung vollständig bewiesen.

$\Box$

Definition

$\;$ Die Matrix ${\mathbf{Q}}=(q_{ij})_{i,j=1,\ldots,\ell}$ heißt Intensitätsmatrix$\,$ des Markow-Prozesses $\{X_t\}$. Die Eintragungen $q_{ij}$ von ${\mathbf{Q}}$ werden Übergangsintensitäten genannt.

Korollar 2.2   Für beliebige $i\neq j$ gilt $q_{ij}\ge0$ und $q_{ii}\le 0$. Außerdem gilt ${\mathbf{Q}}{\mathbf{e}}={\,{\bf0}}$ bzw. (äquivalent hierzu)

$$\sum_{j\in E} q_{ij}=0 \qquad\forall\, i\in E\,,$$ (21)

wobei ${\mathbf{e}}=(1,\ldots,1)^\top$ bzw. ${\,{\bf0}}=(0,\ldots,0)^\top$ den $\ell$-dimensionalen Einheits- bzw. Nullvektor bezeichnet.

Beweis

 

• Aus der Definition (13) der Übergangsintensitäten $q_{ij}$ ergibt sich unmittelbar, dass $q_{ij}\ge0$ und $q_{ii}\le 0$ für beliebige $i\neq j$ gilt.
• Die Behauptung (21) folgt somit aus (20).
  
  $\Box$

Beachte

 

• Die Definition von Markow-Prozessen und ihre Charakterisierung in Theorem 2.14 lassen sich völlig analog für Markow-Prozesse mit einem (abzählbar) unendlichen Zustandsraum formulieren, beispielsweise für $E=\mathbb{N}$.
• Die in Theorem 2.15 hergeleitete Differenzierbarkeitseigenschaft der Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ bleibt ebenfalls (in einer etwas modifizierten Form) gültig.
  • Im Beweis von Theorem 2.15 wird nämlich die Endlichkeit des Zustandsraumes $E$ nicht benötigt, um die Existenz und Endlichkeit der Übergangsintensitäten $q_{ij}$ für $i\neq j$ zu zeigen.
  • Außerdem kann man auch zeigen, dass die Grenzwerte $q_{ii}$ in (13) existieren, wenn der Zustandsraum $E$ unendlich ist; sie müssen aber nicht notwendig endlich sein.
  • Im allgemeinen kann man dann (anstelle von (20)) nur zeigen, dass $- q_{ii}\ge \sum_{j\ne i}q_{ij}$ für jedes $i\in E$ gilt, wobei der Fall der Gleichheit von besonderer Bedeutung ist.

Definition

$\;$ Wenn der Zustandsraum $E$ unendlich ist, dann sagt man, dass die Übergangsfunktion $\{{\mathbf{P}}(h),h\ge 0\}$ konservativ ist, falls

$$\sum_{j\neq i}q_{ij}=-q_{ii}<\infty\qquad\forall\, i\in E\,.$$ (22)

Beachte

$\;$ Die meisten Ergebnisse, die wir in dieser Vorlesung für Markow-Prozesse mit endlichem Zustandsraum herleiten, bleiben für konservative Übergangsfunktionen in (abzählbar) unendlichen Zustandsräumen gültig. Die Beweise sind dann jedoch oft wesentlich aufwändiger.

Beispiel

$\;$

• Man kann sich leicht überlegen, dass jeder stochastische Prozess $\{X_t,\,t\ge 0\}$ mit Werten in $E=\{0,1,\ldots\}$, der unabhängige und stationäre Zuwächse hat, ein Markow-Prozess ist.
• Insbesondere ist somit der (homogene) Poisson-Prozess mit Intensität $\lambda$ ein Markow-Prozess.
  • In diesem Fall gilt $\alpha_0=1$ und

    $$p_{ij}(h)=\left\{ \begin{array}{ll}\displaystyle {\rm e}^{-\lambd... ...}}{(j-i)!}\;, & \mbox{falls $j\ge i$},\\ 0, & \mbox{sonst}. \end{array}\right.$$ (23)

    
    

  • Hieraus folgt, dass
    $$q_{ij}=\left\{ \begin{array}{rl}\displaystyle \lambda\,, & \... ...& \mbox{falls $j=i$},\\ 0, & \mbox{sonst}. \end{array}\right.$$