Starkes Gesetz der großen Zahlen

• Wir diskutieren nun Bedingungen dafür, dass das in (15) betrachtete arithmetische Mittel $Y_n$, nach einer geeignet gewählten Zentrierung, fast sicher gegen Null konvergiert, falls $n\to\infty$.
• In der Literatur nennt man Aussagen dieses Typs starkes Gesetz der großen Zahlen.
• Eines der ersten Resultate in dieser Richtung ist das folgende starke Gesetz der großen Zahlen, das auf Cantelli zurückgeht.

Theorem 5.14   Sei $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ eine Folge von unabhängigen Zufallsvariablen mit ${\mathbb{E}\,}(X_i^4)<\infty$ für alle $i=1,2,\ldots$. Falls es eine Konstante $c<\infty$ gibt, so dass

$${\mathbb{E}\,}\bigl((X_i-{\mathbb{E}\,}X_i)^4\bigr)\le c$$ (17)

für jedes $i\in\mathbb{N}$, dann gilt für $n\to\infty$

$$Y_n-{\mathbb{E}\,}Y_n\stackrel{{\rm f.s.}}{\longrightarrow}0\,.$$ (18)

Beweis

 

• Ohne Einschränkung der Allgemeinheit können wir annehmen, dass ${\mathbb{E}\,}X_i=0$ für alle $i\in\mathbb{N}$.
• Wegen Korollar 5.2 genügt es dann zu zeigen, dass für jedes $\varepsilon>0$

  $$\sum\limits_{n=1}^\infty P(\vert Y_n\vert>\varepsilon)<\infty\,.$$ (19)

  
  

• Aus der Markow-Ungleichung (4.73) für $r=4$ ergibt sich, dass

  $$\sum\limits_{n=1}^\infty {\mathbb{E}\,}(Y_n^4)<\infty$$ (20)

  
  
  hinreichend für die Gültigkeit von (19) ist.
• Wir zeigen nun, dass unter den getroffenen Voraussetzungen die Bedingung (20) erfüllt ist.
• Es gilt
  

  $$Y_n^4 = \frac{1}{n^4}(X_1+\ldots+X_n)^4$$

  $$= \frac{1}{n^4}\Bigl(\sum\limits_{i=1}^n X_i^4+ \sum\limits_{1\le i... ...^2X_j^2 + \sum\limits_{i\not= j,\, i\not= k,\, j<k}\frac{4!}{2!1!1!}X_i^2X_jX_k$$

  $$+\sum\limits_{i<j<k<l} 4! X_i X_j X_k X_l +\sum\limits_{i\not= j} \frac{4!}{3!1!}X_i^3X_j\Bigr)\,.$$

  
  

• Weil $X_1,X_2,\ldots$ unabhängige Zufallsvariablen sind und weil ${\mathbb{E}\,}X_i=0$ für alle $i\in\mathbb{N}$ vorausgesetzt wird, ergibt sich hieraus, dass
  

  $${\mathbb{E}\,} (Y_n^4) = \frac{1}{n^4}\Bigl(\sum\limits_{i=1}^n {\mathbb{E}\,}(X_i^4)+ 6\sum\limits_{1\le i<j\le n}{\mathbb{E}\,}(X_i^2X_j^2)\Bigr)$$

  $$\le \frac{1}{n^4}\;\Bigl(nc+6\sum\limits_{1\le i<j\le n}\sqrt{{\mathbb{E}\,}(X_i^4)}\sqrt{{\mathbb{E}\,}(X_j^4)}\Bigr)$$

  $$\le \frac{1}{n^4}\;\Bigl(nc+\frac{6n(n-1)}{2}\;c\Bigr)$$

  $$= \frac{1}{n^4}\;\bigl(3n^2-2n\bigr)c < 3c\;\frac{1}{n^2}\,.$$

  
  

• Folglich gilt
  $$\sum\limits_{n=1}^\infty {\mathbb{E}\,} (Y_n^4)\le3c\sum\limits_{n=1}^\infty\frac{1}{n^2} <\infty\,.$$

• D.h., die Bedingung (20) ist erfüllt.
  
  $\Box$

Beachte

 

• Falls $X_1,X_2,\ldots$ nicht nur unabhängige, sondern auch identisch verteilte Zufallsvariablen sind, dann lassen sich die in Theorem 5.14 formulierten Integrierbarkeitsbedingungen deutlich abschwächen.
• Der ,,Preis'' hierfür ist allerdings, dass nun ein wesentlich umfangreicherer Beweis erforderlich ist, im Vergleich zum Beweis von Theorem 5.14.
• Dies führt zu der folgenden Version des starken Gesetzes der großen Zahlen.

Theorem 5.15   Sei $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ eine Folge von unabhängigen und identisch verteilten Zufallsvariablen mit ${\mathbb{E}\,}\vert X_i\vert<\infty$ für alle $i=1,2,\ldots$; $\mu={\mathbb{E}\,}X_i$. Dann gilt $Y_n\stackrel{{\rm f.s.}}{\longrightarrow}\mu$ für $n\to\infty$.

• Im Beweis von Theorem 5.15 benötigen wir mehrere Hilfssätze, die auch von eigenständigem Interesse sind.
• Zunächst leiten wir eine einfache untere bzw. obere Schranke für den Erwartungswert von nichtnegativen Zufallsvariablen her.

Lemma 5.1   Sei $X:\Omega\to[0,\infty)$ eine nichtnegative Zufallsvariable mit $X\in L^1$, d.h. $0\le {\mathbb{E}\,}X<\infty$. Dann gilt

$$\sum\limits_{n=1}^\infty P(X\ge n)\le{\mathbb{E}\,}X\le 1+\sum\limits_{n=1}^\infty P(X\ge n)\,.$$ (21)

Beweis

$\;$ Es gilt

$$\sum\limits_{n=1}^\infty P(X\ge n) = \sum\limits_{n=1}^\infty\sum\limits_{k\ge n} P(k\le X<k+1) = \sum\limits_{k=1}^\infty k P(k\le X<k+1)$$

$$= \sum\limits_{k=0}^\infty {\mathbb{E}\,}\bigl( k {1\hspace{-1mm}{\... ...thbb{E}\,}\bigl( X {1\hspace{-1mm}{\rm I}}_{[k,k+1)}(X)\bigr) = {\mathbb{E}\,}X$$

$$\le \sum\limits_{k=0}^\infty {\mathbb{E}\,}\bigl( (k+1) {1\hspace{-1mm}{\rm I}}_{[k,k+1)}(X)\bigr) = \sum\limits_{k=0}^\infty (k+1) P(k\le X<k+1)$$

$$= \sum\limits_{n=1}^\infty P(X\ge n)+\sum\limits_{k=0}^\infty P(k\le X<k+1) = \sum\limits_{n=1}^\infty P(X\ge n)+1\,.$$

 
  $\Box$

Ein weiteres nützliches Hilfsmittel ist die folgende Ungleichung von Kolmogorow.

Lemma 5.2   (Kolmogorow) Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ unabhängige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ und ${\mathbb{E}\,}X_i=0$ für jedes $i=1,\ldots,n$. Für jedes $\varepsilon>0$ und $n\in\mathbb{N}$ gilt dann

$$P\Bigl(\max\limits_{1\le k\le n}\vert S_k\vert\ge\varepsilon\Bigr)\le\frac{{\mathbb{E}\,}(S_n^2)}{\varepsilon^2}\;,$$ (22)

wobei $S_n=X_1+\ldots+X_n$.

Beweis

 

• Sei
  $$A=\bigl\{\max\limits_{1\le k\le n} \vert S_k\vert\ge\varepsilon\bigr\}$$
  und für $k=1,\ldots,n$
  $$A_k=\bigl\{\vert S_i\vert<\varepsilon, i=1,\ldots,k-1,\, \vert S_k\vert\ge\varepsilon\bigr\}\,.$$

• Dann gilt $A=\bigcup_{k=1}^n A_k$ und folglich

  $${\mathbb{E}\,}(S_n^2)\ge {\mathbb{E}\,}(S_n^2{1\hspace{-1mm}{\rm I}}_A)=\sum\limits_{k=1}^n{\mathbb{E}\,}(S_n^2{1\hspace{-1mm}{\rm I}}_{A_k})\,.$$ (23)

  
  

• Weil $X_1,\ldots,X_n$ unabhängige Zufallsvariablen sind, sind wegen Theorem 3.18 auch $S_k{1\hspace{-1mm}{\rm I}}_{A_k}$ und $X_{k+1}+\ldots+X_n$ unabhängige Zufallsvariablen.
• Aus der Multiplikationsformel für den Erwartungswert des Produktes von unabhängigen Zufallsvariablen (vgl. Theorem 4.9) ergibt sich deshalb, dass
  

  $${\mathbb{E}\,} \bigl(S_k(X_{k+1}+\ldots+X_n){1\hspace{-1mm}{\rm I}}_{A_k}\bigr) = {\mathbb{E}\,}(S_k{1\hspace{-1mm}{\rm I}}_{A_k}){\mathbb{E}\,}(X_{k+1}+\ldots+X_n)$$

  $$= {\mathbb{E}\,}(S_k{1\hspace{-1mm}{\rm I}}_{A_k})({\mathbb{E}\,}X_{k+1}+\ldots+{\mathbb{E}\,}X_n)=0\,.$$

  
  

• Hieraus ergibt sich, dass
  

  $${\mathbb{E}\,}(S_n^2{1\hspace{-1mm}{\rm I}}_{A_k}) = {\mathbb{E}\,} \bigl((S_k+(X_{k+1}+\ldots+X_n))^2{1\hspace{-1mm}{\rm I}}_{A_k}\bigr)$$

  $$= {\mathbb{E}\,}(S_k^2{1\hspace{-1mm}{\rm I}}_{A_k})+2{\mathbb{E}\,... ...{\mathbb{E}\,} \bigl((X_{k+1}+\ldots+X_n))^2{1\hspace{-1mm}{\rm I}}_{A_k}\bigr)$$

  $$\ge {\mathbb{E}\,}(S_k^2{1\hspace{-1mm}{\rm I}}_{A_k})\,.$$

  
  

• Mit Hilfe von (23) ergibt dies, dass
  

  $${\mathbb{E}\,}(S_n^2) \ge \sum\limits_{k=1}^n{\mathbb{E}\,}(S_k^2{1\hspace{-1mm}{\rm I}}_{A_k})$$

  $$\ge \varepsilon^2\sum\limits_{k=1}^n{\mathbb{E}\,}{1\hspace{-1mm}{\rm... ...epsilon^2 P\Bigl(\max\limits_{1\le k\le n}\vert S_k\vert\ge\varepsilon\Bigr)\,.$$

  
  
  
   
    $\Box$
  
  
  

Außerdem benötigen wir den folgenden Hilfssatz.

Lemma 5.3   Seien $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ unabhängige Zufallsvariablen mit $X_n\in L^2$ und ${\mathbb{E}\,}X_n=0$ für alle $n\in\mathbb{N}$. Falls

$$\sum\limits_{n=1}^\infty {\mathbb{E}\,}X_n^2<\infty\,,$$ (24)

dann gibt es eine Zufallsvariable $S:\Omega\to\mathbb{R}$, so dass $S_n\stackrel{{\rm f.s.}}{\longrightarrow}S$, wobei $S_n=X_1+\ldots+X_n$.

Beweis

 

• Es gilt $S_n\stackrel{{\rm f.s.}}{\longrightarrow}S$ genau dann, wenn $\{S_n\}$ mit Wahrscheinlichkeit 1 eine Cauchy-Folge ist.
• Dies gilt genau dann, wenn für jedes $\varepsilon>0$

  $$P\Bigl(\sup\limits_{k\ge 1}\vert S_{n+k}-S_n\vert\ge\varepsilon\Bigr)\to 0$$ (25)

  
  
  für $n\to\infty$; vgl. Theorem 5.1 bzw. Übungsaufgabe 13.2.
• Außerdem ergibt sich aus Theorem 2.3 und aus der Ungleichung (4.22) von Kolmogorow, dass
  

  $$P\Bigl(\sup\limits_{k\ge 1}\vert S_{n+k}-S_n\vert\ge\varepsilon\Bigr) = \lim\limits_{m\to\infty}P\Bigl(\max\limits_{1\le k\le m}\vert S_{n+k}-S_n\vert\ge\varepsilon\Bigr)$$

  $$\le \lim\limits_{m\to\infty}\varepsilon^{-2}{\mathbb{E}\,} \Bigl(\bigl(\sum\limits_{k=n+1}^{n+m}X_k\bigr)^2\Bigr)$$

  $$= \lim\limits_{m\to\infty}\varepsilon^{-2}\sum\limits_{k=n+1}^{n+m}... ...}\,} (X_k^2)=\varepsilon^{-2}\sum\limits_{k=n+1}^\infty{\mathbb{E}\,}(X_k^2)\,,$$

  
  
  wobei sich die vorletzte Gleichheit aus der Unabhängigkeit von $X_1,X_2,\ldots$ und aus der Annahme, dass ${\mathbb{E}\,}X_n=0$ für alle $n\in\mathbb{N}$, ergibt.
• Hieraus folgt, dass die Bedingung (24) die Konvergenz (25) impliziert.
  
  $\Box$

Die nächsten beiden Hilfssätze betreffen zwei klassische Konvergenzeigenschaften von Folgen reller Zahlen. Sie werden in der Literatur Lemma von Toeplitz bzw. Lemma von Kronecker genannt.

Lemma 5.4   (Toeplitz) Seien $a_n,b,b_n\in\mathbb{R}$ relle Zahlen mit

$$0< a_1\le a_2\le\ldots \qquad \lim\limits_{n\to\infty}a_n=\infty\,.$$ (26)

Falls $b_n\to b$, dann gilt

$$\lim\limits_{n\to\infty} \sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\;b_k=b\,.$$ (27)

Beweis

 

• Es gilt die Identität

  $$\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\;b_k-b =\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\;(b_k-b)-\frac{a_1}{a_n}\;b\,.$$ (28)

  
  

• Außerdem ergibt sich aus (26), dass die Summe
  $$\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}=\frac{a_n-a_1}{a_n}$$
  monoton gegen 1 konvergiert für $n\to\infty$.
• Es gelte $b_n\to b$, und für $\varepsilon>0$ sei $n_0\in\mathbb{N}$ so gewählt, dass $\vert b_n-b\vert<\varepsilon$ für alle $n\ge n_0$.
• Wegen (28) gilt dann für $n\ge n_0$
  

  $${\Bigl\vert\;\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\;b_k-b\;\Bigr\vert}$$

  $$\le \sum\limits_{k=1}^{n_0-1}\frac{a_{k+1}-a_k}{a_n}\;\vert b_k-b\vert+ \varepsilon\;\frac{a_n-a_{n_0}}{a_n}+\frac{a_1}{a_n}\;\vert b\vert\,.$$

  
  

• Wegen $a_n\uparrow\infty$ ergibt sich hieraus, dass für jedes hinreichend große $n$
  $$\Bigl\vert\;\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\;b_k-b\;\Bigr\vert\le 2\varepsilon\,.$$

• Damit ist die Behauptung bewiesen, weil $\varepsilon>0$ beliebig klein gewählt werden kann.
  
  $\Box$

Lemma 5.5   (Kronecker) Seien $a_n,c_n\in\mathbb{R}$ relle Zahlen, so dass die Bedingung $(\ref{bed.von.toe})$ erfüllt ist. Falls die Reihe $\sum_{k=1}^\infty c_k/a_k$ konvergiert, dann gilt

$$\lim\limits_{n\to\infty} \frac{1}{a_n} \sum\limits_{k=1}^n c_k=0\,.$$ (29)

Beweis

 

• Wir setzen $b_0=0$ und $b_n=\sum_{k=1}^n c_k/a_k$.
• Dann gilt $c_k=a_k(b_k-b_{k-1})$ und

  $$\frac{1}{a_n}\sum\limits_{k=1}^n c_k=b_n-\sum\limits_{k=1}^{n-1}\frac{a_{k+1}-a_k}{a_n}\; b_k\,.$$ (30)

  
  

• Falls nun die Reihe $\sum_{k=1}^\infty c_k/a_k$ konvergiert, d.h., falls $b_n\to b$ für ein $b\in\mathbb{R}$, dann ergibt sich die Behauptung aus (30) und aus Lemma 5.4.
  
  $\Box$

Beweis von Theorem 5.15

 

• Die Behauptung gilt genau dann, wenn
  $$\frac{1}{n}\;\bigl((X_1-{\mathbb{E}\,}X_1)+\ldots+(X_n-{\mathbb{E}\,}X_n)\bigr)\to 0$$
  mit Wahrscheinlichkeit 1.
• Ohne Einschränkung der Allgemeinheit setzen wir voraus, dass ${\mathbb{E}\,}X_n=0$ und zeigen, dass

  $$\frac{1}{n}\;(X_1+\ldots+X_n)\to 0$$ (31)

  
  
  mit Wahrscheinlichkeit 1.
• Aus Lemma 5.1 ergibt sich, dass ${\mathbb{E}\,}\vert X_1\vert<\infty$ genau dann, wenn $\sum_{n=1}^\infty P(\vert X_1\vert\ge n)<\infty$.
• Weil $X_1,X_2,\ldots$ identisch verteilt sind, gilt dies genau dann, wenn $\sum_{n=1}^\infty P(\vert X_n\vert\ge n)<\infty$.
• Wegen des Lemmas von Borel-Cantelli (vgl. Korollar 2.3 und Theorem 2.7) ist das gleichbedeutend mit $P(\limsup_n\{\vert X_n\vert\ge n\})=0$.
• Hieraus folgt, dass es für fast jedes $\omega \in \Omega$ eine natürliche Zahl $n_0=n_0(\omega)$ gibt, so dass $\vert X_n(\omega)\vert<n$ für jedes $n\ge n_0$ gilt.
• Also gilt (31) genau dann, wenn

  $$\frac{1}{n}\;(X_1^\prime+\ldots+X_n^\prime)\to 0$$ (32)

  
  
  mit Wahrscheinlichkeit 1, wobei für $k=1,\ldots,n$
  $$X_k^\prime=\left\{\begin{array}{ll} X_k\,, & \mbox{falls $\vert X... ... k$,}\\ [3\jot] 0\,, & \mbox{falls $\vert X_k\vert\ge k$.} \end{array}\right.$$

• Beachte: Der Übergang von $X_k$ zu $X_k^\prime$ wird Abschneidetechnik genannt.
• Weil
  $${\mathbb{E}\,}X_k^\prime={\mathbb{E}\,}(X_k{1\hspace{-1mm}{\rm I}... ...} (X_1{1\hspace{-1mm}{\rm I}}_{\{\vert X_1\vert<k\}})\to{\mathbb{E}\,}X_1=0\,,$$
  ergibt sich aus Lemma 5.4 mit $a_k=k$, dass
  $$\frac{1}{n}\sum\limits_{k=1}^n {\mathbb{E}\,}X_k^\prime\to 0\,.$$

• Deshalb gilt (32) und damit auch (31) genau dann, wenn

  $$\frac{1}{n}\;(Z_1+\ldots+Z_n)\to 0$$ (33)

  
  
  mit Wahrscheinlichkeit 1, wobei $Z_k=X_k^\prime-{\mathbb{E}\,}X_k^\prime$.
• Aus Lemma 5.5 mit $a_k=k$ und $c_k=Z_k(\omega)$ ergibt sich die Gültigkeit von (33), wenn gezeigt wird, dass es eine Zufallsvariable $Z$ gibt, so dass mit Wahrscheinlichkeit 1
  $$\lim\limits_{m\to\infty}\sum\limits_{n=1}^m \frac{Z_n}{n}= Z\,.$$

• Wegen Lemma 5.3 genügt es nun zu zeigen, dass
  $$\sum\limits_{n=1}^\infty{\mathbb{E}\,}\Bigl(\frac{Z_n^2}{n^2}\Bigr)<\infty\,.$$

• Dies ergibt sich aus den folgenden Abschätzungen:
  

  $$\sum\limits_{n=1}^\infty{\mathbb{E}\,}\Bigl(\frac{Z_n^2}{n^2}\Bigr) \le \sum\limits_{n=1}^\infty{\mathbb{E}\,}\Bigl(\frac{(X_n^\prime)^2}{n^2}\Bigr)$$

  $$= \sum\limits_{n=1}^\infty\frac{1}{n^2}{\mathbb{E}\,}\bigl(X_n^2{1\hspace{-1mm}{\rm I}}_{\{\vert X_n\vert<n\}}\bigr)$$

  $$= \sum\limits_{n=1}^\infty\frac{1}{n^2}{\mathbb{E}\,}\bigl(X_1^2{1\hspace{-1mm}{\rm I}}_{\{\vert X_1\vert<n\}}\bigr)$$

  $$= \sum\limits_{n=1}^\infty\frac{1}{n^2}\sum\limits_{k=1}^n {\mathbb{E}\,}\bigl(X_1^2{1\hspace{-1mm}{\rm I}}_{\{k-1\le\vert X_1\vert<k\}}\bigr)$$

  $$= \sum\limits_{k=1}^\infty {\mathbb{E}\,}\bigl(X_1^2{1\hspace{-1mm}{\rm I}}_{\{k-1\le\vert X_1\vert<k\}}\bigr)\sum\limits_{n=k}^\infty\frac{1}{n^2}$$

  $$\le 2\sum\limits_{k=1}^\infty\frac{1}{k} {\mathbb{E}\,}\bigl(X_1^2{1\hspace{-1mm}{\rm I}}_{\{k-1\le\vert X_1\vert<k\}}\bigr)$$

  $$\le 2\sum\limits_{k=1}^\infty {\mathbb{E}\,}\bigl(\vert X_1\vert{1\hspace{-1mm}{\rm I}}_{\{k-1\le\vert X_1\vert<k\}}\bigr)$$

  $$= 2{\mathbb{E}\,}\vert X_1\vert<\infty\,,$$

  
  
  wobei in der vorletzten Abschätzung die Ungleichung
  $$\sum\limits_{n=k}^\infty\frac{1}{n^2}\le \frac{2}{k}\qquad\forall k\ge 1$$
  verwendet wurde, die sich ergibt aus $\sum_{n=1}^\infty n^{-2}=1+\sum_{n=2}^\infty n^{-2}$ und
  $$\sum\limits_{n=k}^\infty\frac{1}{n^2}\le\int\limits_{k-1}^\infty\frac{1}{x^2}\; dx=\frac{1}{k-1}\le\frac{2}{k}\qquad\forall k\ge 2\,.$$

• Damit ist Theorem 5.15 bewiesen.
  
  $\Box$