Definitionen und elementare Eigenschaften

Definition

$\;$ Seien $X,X_1,X_2,\ldots:\Omega\to\mathbb{R}$ beliebige Zufallsvariablen. Man sagt: Die Folge

1. $\{X_n\}$ konvergiert fast sicher gegen $X$, falls

   $$P\bigl(\{\omega:\,\omega\in\Omega\, \lim\limits_{n\to\infty}X_n(\omega)=X(\omega)\bigr)=1\,.$$ (1)

   
   
   Schreibweise: $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$
2. $\{X_n\}$ konvergiert in Wahrscheinlichkeit gegen $X$, falls für jedes $\varepsilon>0$

   $$\lim\limits_{n\to\infty} P\bigl(\vert X_n-X\vert>\varepsilon\bigr)=0\,.$$ (2)

   
   
   Schreibweise: $X_n\stackrel{{\rm P}}{\longrightarrow}X$
3. $\{X_n\}$ konvergiert im $L^1$ gegen $X$, falls $X,X_1,X_2,\ldots\in L^1$ und

   $$\lim\limits_{n\to\infty}{\mathbb{E}\,}\vert X_n-X\vert=0\,.$$ (3)

   
   
   Schreibweise: $X_n\stackrel{{\mbox{\small L$^1$}}}{\longrightarrow}X$
4. $\{X_n\}$ konvergiert im quadratischen Mittel gegen $X$, falls $X,X_1,X_2,\ldots\in L^2$ und

   $$\lim\limits_{n\to\infty} {\mathbb{E}\,}\bigl( (X_n-X)^2\bigr)=0\,.$$ (4)

   
   
   Schreibweise: $X_n\stackrel{{\mbox{\small L$^2$}}}{\longrightarrow}X$
5. $\{X_n\}$ konvergiert in Verteilung gegen $X$, falls

   $$\lim\limits_{n\to\infty} F_{X_n}(x)=F_X(x)$$ (5)

   
   
   für jeden Stetigkeitspunkt $x\in\mathbb{R}$ der Verteilungsfunktion $F_X$.
   Schreibweise: $X_n\stackrel{{\rm d}}{\longrightarrow}X$

Beachte

 

• Falls $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$, dann sagt man auch, dass die Folge $\{X_n\}$ mit Wahrscheinlichkeit 1 gegen $X$ konvergiert.
• Falls $X_n\stackrel{{\rm P}}{\longrightarrow}X$, dann sagt man auch, dass die Folge $\{X_n\}$ stochastisch gegen $X$ konvergiert.
• Falls $X_n\stackrel{{\mbox{\small L$^2$}}}{\longrightarrow}X$, dann sagt man auch, dass die Folge $\{X_n\}$ im $L^2$ gegen $X$ konvergiert.

Das folgende Konvergenzkriterium ist ein nützliches Hilfsmittel beim Beweis tieferliegender Grenzwertsätze.

Theorem 5.1   Sei $Y_n=\sup\limits_{k\ge n} \vert X_k-X\vert$. Es gilt $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$ genau dann, wenn

$$Y_n\stackrel{{\rm P}}{\longrightarrow}0\,.$$ (6)

Beweis

 

• Für jedes $\varepsilon>0$ sei

  $$A_\varepsilon=\limsup_n\{\vert X_n-X\vert>\varepsilon\}$$ (7)

  
  

• Die Gültigkeit von $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$ impliziert dann, dass $P(A_\varepsilon)=0$ für jedes $\varepsilon>0$.
• Außerdem gilt
  $$P(A_\varepsilon) = \lim\limits_{n\to\infty}P\Bigl(\bigcup\limits_... ...s_{n\to\infty}P\Bigl(\sup\limits_{k\ge n}\vert X_k-X\vert>\varepsilon\Bigr)\,.$$

• Damit ist die Notwendigkeit von Bedingung (6) gezeigt.
• Es gelte nun (6), d.h., $P(A_\varepsilon)=0$ für jedes $\varepsilon>0$.
• Hieraus folgt, dass $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$, weil dann
  $$P(\{\omega:\, X_n(\omega)\not\to X(\omega)\})=P\Bigl(\bigcup\limits_{m=1}^\infty A_{1/m}\Bigr)\le \sum\limits_{m=1}^\infty P(A_{1/m})=0\,.$$
  
   
    $\Box$
  
  
  

Aus Theorem 5.1 ergibt sich sofort, dass die fast sichere Konvergenz stets die Konvergenz in Wahrscheinlichkeit impliziert.

Korollar 5.1   Aus $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$ folgt $X_n\stackrel{{\rm P}}{\longrightarrow}X$.

Beweis

$\;$ In Theorem 5.1 wurde gezeigt, dass $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$ die Gültigkeit von $\sup\limits_{k\ge n} \vert X_k-X\vert\stackrel{{\rm P}}{\longrightarrow}0$ und damit auch $\vert X_n-X\vert\stackrel{{\rm P}}{\longrightarrow}0$ impliziert. Dies ist aber gleichbedeutend mit $X_n\stackrel{{\rm P}}{\longrightarrow}X$.

$\Box$

Außerdem gibt es die folgende hinreichende Bedingung für die fast sichere Konvergenz.

Korollar 5.2   Falls

$$\sum\limits_{n=1}^\infty P(\vert X_n-X\vert>\varepsilon)<\infty$$ (8)

für jedes $\varepsilon>0$, dann gilt $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$.

Beweis

 

• Aus (8) und aus dem Lemma von Borel-Cantelli (vgl. Korollar 2.3) ergibt sich, dass $P(A_\varepsilon)=0$ für jedes $\varepsilon>0$,
• wobei $A_\varepsilon$ die in (7) eingeführte Menge ist.
• Die Behauptung ergibt sich nun genauso wie im zweiten Teil des Beweises von Theorem 5.1.
  
  $\Box$

Beachte

 

• Es gilt also $X_n\stackrel{{\rm P}}{\longrightarrow}X$ genau dann, wenn die Wahrscheinlichkeiten $P\bigl(\vert X_n-X\vert>\varepsilon\bigr)$ für jedes $\varepsilon>0$ gegen Null konvergieren.
• Im Unterschied hierzu gilt $X_n\stackrel{{\rm f.s.}}{\longrightarrow}X$, wenn (jedoch nicht nur dann) diese Null-Konvergenz hinreichend schnell erfolgt, so dass die Summe in (8) endlich ist.

Eine andere Charakterisierung der Konvergenz in Wahrscheinlichkeit lässt sich durch die Betrachtung von Teilfolgen gewinnen.

Theorem 5.2   Es gilt $X_n\stackrel{{\rm P}}{\longrightarrow}X$ genau dann, wenn es für jede Teilfolge $\{X_{n_i}\}$ von $\{X_n\}$ eine Teilfolge $\{X_{n_{i_j}}\}\subset \{X_{n_i}\}$ gibt, so dass $X_{n_{i_j}}\stackrel{{\rm f.s.}}{\longrightarrow}X$.

Beweis

 

• Es gelte $X_n\stackrel{{\rm P}}{\longrightarrow}X$.
• Dann gilt auch $X_{n_i}\stackrel{{\rm P}}{\longrightarrow}X$ für jede Teilfolge $\{X_{n_i}\}$ von $\{X_n\}$.
• Um die Schreibweise abzukürzen, identifizieren wir nun $\{X_{n_i}\}$ mit $\{X_n\}$.
• Es genügt dann zu zeigen, dass es eine Teilfolge $\{X_{n_i}\}$ von $\{X_n\}$ gibt, so dass $X_{n_i}\stackrel{{\rm f.s.}}{\longrightarrow}X$.
• Für jedes $n\in\mathbb{N}$ sei $n_i$ so gewählt, dass $P(\vert X_{n_i}-X\vert>2^{-n})\le 2^{-n}$.
• Dann gilt für jedes $\varepsilon>0$
  

  $${\sum\limits_{n_i} P(\vert X_{n_i}-X\vert>\varepsilon)}$$

  $$\le \sum\limits_{n_i:2^{-n}>\varepsilon} P(\vert X_{n_i}-X\vert>\varepsilon) +\sum\limits_{n_i:2^{-n}\le\varepsilon} P(\vert X_{n_i}-X\vert>2 ^{-n})$$

  $$\le \sum\limits_{n_i:2^{-n}>\varepsilon} P(\vert X_{n_i}-X\vert>\varepsilon)+\sum\limits_{n=1}^\infty 2^{-n}<\infty\,.$$

  
  

• Aus Korollar 5.2 ergibt sich nun, dass $X_{n_i}\stackrel{{\rm f.s.}}{\longrightarrow}X$.
• Wir nehmen nun umgekehrt an, dass $X_n\stackrel{{\rm P}}{\longrightarrow}X$ nicht gilt. Dann gibt es Zahlen $\varepsilon>0$, $\delta>0$ und eine Teilfolge $\{X_{n_i}\}$ von $\{X_n\}$, so dass $P(\vert X_{n_i}-X\vert>\varepsilon)>\delta$ für jedes $i$.
• Wegen Korollar 5.1 kann es somit keine Teilfolge $\{X_{n_{i_j}}\}\subset \{X_{n_i}\}$ geben, so dass $X_{n_{i_j}}\stackrel{{\rm f.s.}}{\longrightarrow}X$.
  
  $\Box$

Wir zeigen nun, dass ebenfalls die L$^2$-Konvergenz und die L$^1$-Konvergenz stets die Konvergenz in Wahrscheinlichkeit implizieren.

Theorem 5.3   Falls $X,X_1,X_2,\ldots\in L^2$ und $X_n\stackrel{{\mbox{\small L$^2$}}}{\longrightarrow}X$, dann gilt auch $X_n\stackrel{{\mbox{\small L$^1$}}}{\longrightarrow}X$.

Beweis

$\;$

• Aus der Ungleichung (4.48) von Cauchy-Schwarz ergibt sich, dass für jedes $n\in\mathbb{N}$
  $$0\le{\mathbb{E}\,}\vert X_n- X\vert\le \sqrt{{\mathbb{E}\,}\bigl((X_n-X)^2\bigr)}\,.$$

• Somit gilt ${\mathbb{E}\,}\vert X_n- X\vert\to 0$, falls ${\mathbb{E}\,}\bigl((X_n-X)^2\bigr)\to 0$.
  
  $\Box$

Theorem 5.4   Falls $X,X_1,X_2,\ldots\in L^1$ und $X_n\stackrel{{\mbox{\small L$^1$}}}{\longrightarrow}X$, dann gilt $X_n\stackrel{{\rm P}}{\longrightarrow}X$.

Beweis

$\;$

• Aus der Markow-Ungleichung (4.73) für $r=1$ ergibt sich, dass für jedes $\varepsilon>0$
  $$P(\vert X_n-X\vert>\varepsilon)\leq \frac{{\mathbb{E}\,}\vert X_n-X\vert}{\varepsilon}\,.$$

• Somit gilt $P(\vert X_n-X\vert>\varepsilon)\to 0$, falls ${\mathbb{E}\,}\vert X_n- X\vert\to 0$.
  
  $\Box$

Als nächstes zeigen wir, dass die Konvergenz in Wahrscheinlichkeit stets die Konvergenz in Verteilung impliziert.

Theorem 5.5   Falls $X_n\stackrel{{\rm P}}{\longrightarrow}X$, dann gilt $X_n\stackrel{{\rm d}}{\longrightarrow}X$.

Beweis

$\;$

• Es gelte $X_n\stackrel{{\rm P}}{\longrightarrow}X$, d.h., $P(\vert X_n-X\vert>\varepsilon)\to 0$ für jedes $\varepsilon>0$.
• Für beliebige $\varepsilon>0$ und $n\in\mathbb{N}$ gilt
  

  $$F_{X_n}(x) = P(X_n\le x)$$

  $$= P(X_n\le x,\, \vert X_n-X\vert\le \varepsilon)+P(X_n\le x,\, \vert X_n-X\vert>\varepsilon)$$

  $$\le P(X\le x+\varepsilon)+P(\vert X_n-X\vert>\varepsilon)$$

  $$= F_X(x+\varepsilon)+P(\vert X_n-X\vert>\varepsilon)\,.$$

  
  

• Hieraus und wegen $P(\vert X_n-X\vert>\varepsilon)\to 0$ ergibt sich nun, dass
  $$\limsup\limits_{n\to\infty} F_{X_n}(x) \le F_X(x+\varepsilon)\,.$$

• Weil $\varepsilon>0$ beliebig klein gewählt werden kann und weil die Verteilungsfunktion $F_X$ rechtsseitig stetig ist, ergibt sich somit, dass für jedes $x\in\mathbb{R}$

  $$\limsup\limits_{n\to\infty} F_{X_n}(x) \le F_X(x)\,.$$ (9)

  
  

• Sei nun $x\in\mathbb{R}$ ein Stetigkeitspunkt der Verteilungsfunktion $F_X$, d.h., es gelte

  $$\lim\limits_{\varepsilon\downarrow 0} F_X(x-\varepsilon)=F_X(x)\,.$$ (10)

  
  

• Ähnlich wie im ersten Teil des Beweises ergibt sich für beliebige $\varepsilon>0$ und $n\in\mathbb{N}$, dass
  

  $$F_X(x-\varepsilon) = P(X\le x-\varepsilon)$$

  $$= P(X\le x-\varepsilon,\, \vert X_n-X\vert\le \varepsilon)+P(X\le x-\varepsilon,\, \vert X_n-X\vert>\varepsilon)$$

  $$\le F_{X_n}(x)+P(\vert X_n-X\vert>\varepsilon)\,.$$

  
  

• Mit Hilfe von (10) ergibt sich somit, dass
  $$F_X(x)\le \liminf\limits_{n\to\infty} F_{X_n}(x)\,.$$

• Hieraus und aus (9) folgt, dass $\lim\limits_{n\to\infty} F_{X_n}(x)=F_X(x)$.
  
  $\Box$

Beachte

 

• Die Umkehrung der Aussage von Theorem 5.5 gilt im allgemeinen nicht.
• Falls jedoch die ,,Grenzzufallsvariable'' $X$ mit Wahrscheinlichkeit $1$ einunddenselben (deterministischen) Wert annimmt, dann gilt auch die folgende umgekehrte Aussage.

Theorem 5.6   Falls $X_n\stackrel{{\rm d}}{\longrightarrow}c$ für eine Konstante $c\in\mathbb{R}$, dann gilt $X_n\stackrel{{\rm P}}{\longrightarrow} c$.

Beweis

$\;$

• Es gelte $X_n\stackrel{{\rm d}}{\longrightarrow}c$.
• Für beliebige $\varepsilon>0$ und $n\in\mathbb{N}$ gilt dann
  

  $$P(\vert X_n-c\vert>\varepsilon) = P(X_n< c-\varepsilon)+P(X_n>c+\varepsilon)$$

  $$\le F_{X_n}(c-\varepsilon)+\bigl(1-F_{X_n}(c+\varepsilon)\bigr)$$

  $$\longrightarrow F_c(c-\varepsilon)+\bigl(1-F_c(c+\varepsilon)\bigr)$$

  $$= 0\,,$$

  
  
  weil sowohl $c-\varepsilon$ als $c+\varepsilon$ Stetigkeitspunkte der Verteilungsfunktion $F_c$ sind und weil $F_c(c-\varepsilon)=0$ bzw. $F_c(c+\varepsilon)=1$.
  
  $\Box$