Zentraler Grenzwertsatz für Summen von unabhängigen Zufallsvariablen

In Verallgemeinerung des zentralen Grenzwertsatzes von DeMoivre-Laplace, der bereits in Abschnitt 3.2.4 erwähnt wurde, leiten wir den folgenden zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen her.

Theorem 5.16   Sei $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ eine Folge von unabhängigen und identisch verteilten Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ und ${\rm Var\,}X_i>0$ für alle $i=1,2,\ldots$; $\mu={\mathbb{E}\,}X_i$, $\sigma^2={\rm Var\,}X_i$. Dann gilt für jedes $x\in\mathbb{R}$

$$\lim\limits _{n\to\infty}P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} \le x\Bigr)=\Phi(x)\,,$$ (44)

wobei $\Phi:\mathbb{R}\to[0,1]$ die Verteilungsfunktion der Standardnormalverteilung ist.

Im Beweis von Theorem 5.16 benutzen wir eine Approximationsmethode, die auf G. Kersting zurückgeht. Dabei benötigen wir mehrere Hilfssätze, die auch von eigenständigem Interesse sind.

Zunächst betrachten wir eine Reihe von analytischen Eigenschaften der Verteilungsfunktion $\Phi$ der N$(0,1)$-Verteilung, die gegeben ist durch

$$\Phi(x)=\frac{1}{\sqrt{2\pi }}\int\limits_{-\infty}^x \exp \Bigl(\displaystyle -\frac{v^{2}}{2}\Bigr)\, dv \qquad\forall x\in\mathbb{R}\,.$$

Lemma 5.6    

1.

Die Funktion $\Phi:\mathbb{R}\to[0,1]$ ist unendlich oft differenzierbar.

2.

Sämtliche Ableitungen $\Phi^{(n)}$ von $\Phi$ sind beschränkte Funktionen $(n\in\mathbb{N})$, und es gilt

$$\sup\limits_{x\in\mathbb{R}}\Phi^{(1)}(x)=\Phi^{(1)}(0)=\frac{1}{\sqrt{2\pi }}\le 1$$ (45)

und

$$\sup\limits_{x\in\mathbb{R}}\vert x\,\Phi^{(1)}(x)\vert<\infty\,,\qquad\sup\limits_{x\in\mathbb{R}}\vert x^2\Phi^{(2)}(x)\vert<\infty\,.$$ (46)

3.

Außerdem gilt die Identität

$$\Phi^{(2)}(x)=-x\,\Phi^{(1)}(x)\qquad \forall x\in\mathbb{R}\,.$$ (47)

Der Beweis von Lemma 5.6 wird in den Übungen behandelt; vgl. Übungsaufgabe 13.1.

Der nächste Hilfssatz enthält eine nützliche (gleichmäßige) Stetigkeitseigenschaft von $\Phi$.

Lemma 5.7   Sei $X\in L^2$ eine beliebige Zufallsvariable mit

$${\mathbb{E}\,}X=0\,,\qquad {\rm Var\,}X=1$$ (48)

und

$$P(\vert X\vert\le c)=1$$ (49)

für eine Konstante $c<\infty$. Mit der Schreibweise $\alpha_n=\sqrt{(n+1)/n}$ und $\beta_n=1/\sqrt{n}$ gilt dann für $n\to\infty$

$$\sup\limits_{x\in\mathbb{R}} \vert{\mathbb{E}\,}(\Phi(\alpha_n x-\beta_n X)-\Phi(x))\vert=O\Bigl(\frac{1}{n^{3/2}}\Bigr)\,.$$ (50)

Beweis

 

• Für $x,y\in\mathbb{R}$ mit $\vert y\vert\le c$ entwickeln wir die Verteilungsfunktion $\Phi$ im Punkt $\alpha_n x$ in eine Taylor-Reihe und erhalten

  $$\Phi(\alpha_n x-\beta_n y)=\Phi(\alpha_n x)-\beta_n y\,\Phi^{(1)}... ...(2)}(\alpha_nx)-\frac{1}{6}(\beta_n y)^3\,\Phi^{(3)}(\alpha_nx-\theta\beta_n y)$$ (51)

  
  
  mit $\vert\theta\vert\le 1$.
• Weil $\Phi^{(3)}$ beschränkt ist und $\vert y\vert\le c$, hat der letzte Summand auf der rechten Seite von (51) die Größenordnung $O(n^{-3/2})$.
• Durch Taylorentwicklung der Funktion $f(x)=\sqrt{x}$ im Punkt $x_0=1$ ergibt sich, dass
  $$\alpha_n=1+\frac{1}{2n}+O(n^{-2})\,.$$

• Deshalb ergibt die Taylorentwicklung von $\Phi$ im Punkt $x$ den Ausdruck
  

  $$\Phi(\alpha_n x) = \Phi(x)+\Bigl(\frac{1}{2n}+O(n^{-2})\Bigr)\, x \Phi^{(1)}(x)$$

  $$\hspace{1cm} +\Bigl(\frac{1}{2n}+O(n^{-2})\Bigr)^2\, \frac{x^2}{2}\, \Phi^{(2)}\Bigl(x+\theta x \Bigl(\frac{1}{2n}+O(n^{-2})\Bigr)\Bigr)$$

  
  
  mit $\vert\theta\vert\le 1$.
• Wegen (46) ergibt sich hieraus, dass

  $$\Phi(\alpha_n x) = \Phi(x)+\frac{x}{2n}\,\Phi^{(1)}(x)+O(n^{-2})\,.$$ (52)

  
  

• Auf ähnliche Weise ergibt sich, dass

  $$\Phi^{(2)}(\alpha_n x) = \Phi^{(2)}(x)+\,\frac{x}{2n}\,\Phi^{(3)}(x)+O(n^{-2})\,,$$ (53)

  
  
  wobei
  $$\sup\limits_{x\in\mathbb{R}}x\Phi^{(3)}(x)<\infty\,.$$

• Wenn nun (52) und (53) in die Taylor-Reihe (51) eingesetzt werden, ergibt sich der Ausdruck
  $$\Phi(\alpha_n x-\beta_n y)-\Phi(x)=\frac{x}{2n}\,\Phi^{(1)}(x) -\beta_n y\,\Phi^{(1)}(\alpha_nx) +\frac{y^2}{2n}\,\Phi^{(2)}(x) + O(n^{-3/2})\,.$$

• Weil ${\mathbb{E}\,}X=0$ und ${\rm Var\,}X=1$ vorausgesetzt wird (vgl. (48)), folgt hieraus, dass
  $${\mathbb{E}\,}\Phi(\alpha_n x-\beta_n X)-\Phi(x)=\frac{x}{2n}\,\Phi^{(1)}(x) +\frac{1}{2n}\,\Phi^{(2)}(x) + O(n^{-3/2})\,.$$

• Wegen der Identität
  $$\frac{x}{2n}\,\Phi^{(1)}(x) +\frac{1}{2n}\,\Phi^{(2)}(x)=0$$
  für jedes $x\in\mathbb{R}$ (vgl. (47)), ergibt dies die Behauptung.
  
  $\Box$

Definition

$\;$ Für beliebige Verteilungsfunktionen $F,G:\mathbb{R}\to[0,1]$ sei

$$d(F,G)=\sup\limits_{x\in\mathbb{R}}\vert F(x)-G(x)\vert\,.$$ (54)

Die in (54) gegebene Abstandsfunktion heißt Supremum-Metrik.

Beachte

$\;$ Anstelle $d(F,G)$ schreiben wir manchmal auch $d(X,Y)$ oder $d(X,G)$, falls $X$ und $Y$ Zufallsvariablen mit den Verteilungsfunktionen $F$ bzw. $G$ sind.

Lemma 5.8   Seien $X,Y:\Omega\to\mathbb{R}$ beliebige Zufallsvariablen mit $Y\in L^2$, und sei $\Phi$ die Verteilungsfunktion der Standardnormalverteilung N$(0,1)$. Falls ${\mathbb{E}\,}(Y^2)<c$, dann gilt

$$d(X+Y,\Phi)\le d(X,\Phi)+2c^{1/3}\,.$$ (55)

Beweis

 

• Für die erste Ableitung $\Phi^{(1)}$ von $\Phi$ gilt $\Phi^{(1)}(x)\le 1$ für jedes $x\in\mathbb{R}$; vgl. (45).
• Hieraus folgt, dass für beliebige $x\in\mathbb{R}$ und $\delta>0$

  $$\vert\Phi(x\pm\delta)-\Phi(x)\vert\le\delta\,.$$ (56)

  
  

• Außerdem gilt
  $$\{X\le x-\delta\}\subset\{Y>\delta\}\cup\{X+Y\le x\}$$
  und
  $$\{X+Y\le x\}\subset\{X\le x+\delta\}\cup\{Y<-\delta\}\,.$$

• Also gilt
  $$P(X\le x-\delta)-P(Y>\delta)\le P(X+Y\le x)\le P(X\le x+\delta)+ P( Y<-\delta)\,.$$

• Wegen (56) ergibt sich nun hieraus, dass
  

  $$P(X\le x-\delta)-\Phi(x-\delta)-\delta-P(Y>\delta) \le P(X+Y\le x)-\Phi(x)$$

  $$\le P(X\le x+\delta)-\Phi(x+\delta)+\delta+ P( Y<-\delta)\,.$$

  
  

• Wenn die erste Ungleichung mit $-1$ multipliziert wird, dann impliziert dies, dass
  $$\Phi(x)-P(X+Y\le x)\le\vert\Phi(x-\delta)-P(X\le x-\delta)\vert+\delta+P(Y>\delta)$$
  und
  $$P(X+Y\le x)-\Phi(x)\le \vert P(X\le x+\delta)-\Phi(x+\delta)\vert+\delta+ P( Y<-\delta)\,.$$

• Hieraus folgt, dass

  $$d(X+Y,\Phi)\le d(X,\Phi)+\delta+P(\vert Y\vert>\delta)\,,$$ (57)

  
  
  weil
  $$\max\{P(Y>\delta),\,P( Y<-\delta)\}\le P(Y>\delta)+P( Y<-\delta)=P(\vert Y\vert>\delta)\,.$$

• Genauso wie im Beweis der Tschebyschew-Ungleichung (4.72) kann man zeigen, dass für jedes $\delta>0$
  $$\delta^2 P(\vert Y\vert>\delta)\le {\mathbb{E}\,}(Y^2)\,.$$

• Für $\delta=c^{1/3}$ ergibt sich hieraus und aus ${\mathbb{E}\,}(Y^2)<c$ , dass
  $$P(\vert Y\vert>c^{1/3})\le c^{1/3}\,.$$

• Dies und (57) liefert nun die Behauptung.
  
  $\Box$

In dem folgenden Hilfssatz leiten wir Bedingungen her, unter denen die Summe von unabhängigen (nichtnotwendig identisch verteilten) diskreten Zufallsvariablen näherungsweise normalverteilt ist.

Lemma 5.9   Seien $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ unabhängige diskrete Zufallsvariable, die jeweils nur endlich viele verschiedene Werte mit positiver Wahrscheinlichkeit annehmen. Falls

$${\mathbb{E}\,}X_n=0\,,\qquad {\rm Var\,}X_n=1\qquad\qquad \forall n\in\mathbb{N}$$ (58)

und falls es eine Konstante $c<\infty$ gibt, so dass

$$\vert X_n\vert\le c \qquad \forall n\in\mathbb{N}\,,$$ (59)

dann gilt

$$d(Y_n^*,\Phi)\to 0$$ (60)

für $n\to\infty$, wobei $Y_n^*=(X_1+\ldots+X_n)/\sqrt{n}$.

Beweis

 

• Sei $Y$ eine N$(0,1)$-verteilte Zufallsvariable, die unabhängig von der Folge $X_1,X_2,\ldots$ ist.
• Für eine beliebige, jedoch fest vorgegebene natürliche Zahl $n_0$ und für jedes $n\ge n_0$ betrachten wir die Zufallsvariable
  $$Z_n=\sqrt{\frac{n_0}{n}}\, Y+\frac{1}{\sqrt{n}}\,(S_n-S_{n_0})\,,$$
  wobei $S_n=X_1+\ldots+X_n$.
• Dann gilt

  $$Z_{n+1}=\sqrt{\frac{n}{n+1}}\, Z_n+\frac{1}{\sqrt{n+1}}\,X_{n+1}\,.$$ (61)

  
  

• Die Zufallsvariable $X_{n+1}$ möge die Werte $x_1,\ldots,x_m$ mit den Wahrscheinlichkeiten $p_1,\ldots,p_m>0$ annehmen; $p_1+\ldots+p_m=1$.
• Weil die beiden Summanden auf der rechten Seite von (61) unabhängig sind, lässt sich die Verteilungsfunktion $F_{n+1}(x)=P(Z_{n+1}\le x)$ von $Z_{n+1}$ wie folgt durch $F_n(x)=P(Z_n\le x)$ ausdrücken:
  

  $$F_{n+1}(x) = P\Bigl( \sqrt{\frac{n}{n+1}}\, Z_n\le x-\frac{1}{\sqrt{n+1}}\,X_{n+1}\Bigr)$$

  $$= \sum\limits_{i=1}^m P(X_{n+1}=x_i)\,P\Bigl( \sqrt{\frac{n}{n+1}}\, Z_n\le x-\frac{1}{\sqrt{n+1}}\,X_{n+1}\mid X_{n+1}=x_i\Bigr)$$

  $$= \sum\limits_{i=1}^m p_i\,P\Bigl( \sqrt{\frac{n}{n+1}}\, Z_n\le x-\frac{1}{\sqrt{n+1}}\,x_i\Bigr)$$

  $$= \sum\limits_{i=1}^m p_i\, F_n\Bigl( \sqrt{\frac{n+1}{n}}\, x-\frac{1}{\sqrt{n}}\,x_i\Bigr)$$

  $$= {\mathbb{E}\,}\left(F_n\Bigl( \sqrt{\frac{n+1}{n}}\, x-\frac{1}{\sqrt{n}}\,X_{n+1}\Bigr)\right)\,.$$

  
  

• Mit der Schreibweise $\alpha_n=\sqrt{(n+1)/n}$ und $\beta_n=1/\sqrt{n}$ ergibt sich hieraus, dass
  $$F_{n+1}(x)-\Phi(x)={\mathbb{E}\,}\bigl(F_n(\alpha_n x-\beta_n X_{... ...})\bigr)+{\mathbb{E}\,}\bigl(\Phi(\alpha_n x-\beta_n X_{n+1})-\Phi(x)\bigr)\,.$$

• Also gilt
  $$d(F_{n+1},\Phi)\le d(F_n,\Phi)+\sup\limits_{x\in\mathbb{R}} \vert{\mathbb{E}\,}(\Phi(\alpha_n x-\beta_n X_{n+1})-\Phi(x))\vert\,,$$
  weil
  

  $${ \sup\limits_{x\in\mathbb{R}} \bigl\vert{\mathbb{E}\,}\bigl(F_n(\alpha_n x-\beta_n X_{n+1})-\Phi(\alpha_n x-\beta_n X_{n+1})\bigr)\bigr\vert}$$

  $$\le {\mathbb{E}\,}\sup\limits_{x\in\mathbb{R}} \bigl\vert F_n(\alpha_n x-\beta_n X_{n+1})-\Phi(\alpha_n x-\beta_n X_{n+1})\bigr\vert$$

  $$= d(F_n,\Phi)\,.$$

  
  

• Wegen Lemma 5.7 gibt es deshalb eine Konstante $c^\prime<\infty$, so dass für jedes $n_0\in\mathbb{N}$ und für jedes $n\ge n_0$
  

  $$d(F_n,\Phi) \le d(F_{n-1},\Phi)+ c^\prime (n-1)^{-3/2}$$

  $$\vdots$$

  $$\le d(F_{n_0},\Phi)+c^\prime \sum\limits_{i=n_0-1}^{n-1} i^{-3/2}\,.$$

  
  

• Weil $d(F_{n_0},\Phi)=0$, ergibt sich hieraus, dass
  $$d(Z_n,\Phi)=d(F_n,\Phi)\le c^\prime\sum\limits_{i=n_0}^\infty i^{-3/2}\,.$$

• Weil die Reihe in der letzten Abschätzung gegen einen endlichen Grenzwert konvergiert, gibt es für jedes $\varepsilon>0$ ein $n_0\in\mathbb{N}$, so dass für jedes $n\ge n_0$

  $$d(Z_n,\Phi)\le\frac{\varepsilon}{2}\;.$$ (62)

  
  

• Außerdem ergibt sich aus der Rekursionsformel (61), dass für jedes $n_0\in\mathbb{N}$
  $$Y_n^*-Z_n=\frac{1}{\sqrt{n}}\,S_{n_0}-\sqrt{\frac{n_0}{n}}\,Y$$
  und dass somit
  $$\lim\limits_{n\to\infty}{\mathbb{E}\,}\bigl((Y_n^*-Z_n)^2\bigr) =... ...l(\Bigl(\sqrt{\frac{n_0}{n}}\,Y-\frac{1}{\sqrt{n}}\,S_{n_0}\Bigr)^2\Bigr)=0\,.$$

• Hieraus und aus (62) ergibt sich wegen Lemma 5.8, dass für jedes hinreichend große $n$
  $$d(Y^*_n,\Phi)\le\varepsilon\,.$$

• Weil $\varepsilon>0$ beliebig klein gewählt werden kann, ist damit die Behauptung bewiesen.
  
  $\Box$

Beweis von Theorem 5.16

 

• Für jedes $m\in\mathbb{N}$ setzen wir
  $$\varphi_m(x)=\left\{\begin{array}{ll} \displaystyle\frac{k}{m}\;,... ...{m}$\ mit $-m^2\le k\le m^2$,}\\ [3\jot] 0 & \mbox{sonst.} \end{array}\right.$$

• Außerdem sei
  $$Z_{m,i}=\varphi_m(X_i)\,,\qquad \mu_m={\mathbb{E}\,}Z_{m,i}\,,\qquad \sigma_m^2={\mathbb{E}\,}\bigl((Z_{m,i}-\mu_m)^2\bigr)\,.$$

• Dann gilt für $m\to\infty$

  $$\mu_m\to\mu={\mathbb{E}\,}X_1\,,\qquad \sigma_m^2\to\sigma^2\,,\qquad {\mathbb{E}\,}\bigl((Z_{m,i}-X_i)^2\bigr)\to 0\,,$$ (63)

  
  
  vgl. Übungsaufgabe 14.2.
• Für beliebige $i,m\in\mathbb{N}$ betrachten wir nun die Zufallsvariable
  $$X_{m,i}=\frac{Z_{m,i}-\mu_m}{\sigma_m}\,.$$

• Weil dann die Folge $X_{m,1},X_{m,2},\ldots$ den Bedingungen von Lemma 5.9 für jedes beliebige, jedoch fest vorgegebene $m\in\mathbb{N}$ genügt, gilt also

  $$\lim\limits_{n\to\infty}d(Y^*_{m,n},\Phi)= 0\,,$$ (64)

  
  
  wobei
  $$Y^*_{m,n}=\frac{1}{\sqrt{n}}\,(X_{m,1}+\ldots+X_{m,n})\,.$$

• Wir betrachten nun die Differenz

  $$Y_n^*-Y^*_{m,n}=\Bigl(\frac{\sigma_m}{\sigma}-1\Bigr)Y^*_{m,n} +\frac{1}{\sigma\sqrt{n}}\,\sum\limits_{i=1}^n \bigl((X_i-\mu)-(Z_{m,i}-\mu_m)\bigr)$$ (65)

  
  
  und schätzen ihr zweites Moment nach oben ab, wobei
  $$Y^*_n=\frac{1}{\sigma\sqrt{n}}\,(X_1+\ldots+X_n-n\mu)\,.$$

• Wenn wir die beiden Summanden auf der rechten Seite der Identität (65) mit $U_{m,n}$ bzw. $V_{m,n}$ bezeichnen, dann erhalten wir
  $${\mathbb{E}\,}(U_{m,n}^2)=\Bigl(\frac{\sigma_m}{\sigma}\,-1\Bigr)^2$$
  und
  $${\mathbb{E}\,}(V_{m,n}^2)=\frac{1}{\sigma^2}{\rm Var\,}(X_1-Z_{m,1}) \le\frac{1}{\sigma^2}{\mathbb{E}\,}\bigl((X_1-Z_{m,1})^2\bigr)\,,$$
  weil die Summanden von $V_{m,n}$ unabhängig und identisch verteilt sind und weil ihr Erwartungswert gleich Null ist.
• Aus (63) und aus der Minkowski-Ungleichung (4.68) ergibt sich nun, dass
  $$\lim\limits_{m\to\infty}\sup\limits_{n\in\mathbb{N}}{\mathbb{E}\,}\bigl((Y_n^*-Y^*_{m,n})^2\bigr)=0\,.$$

• Hieraus und aus (64) ergibt sich mit Hilfe von Lemma 5.8, dass
  $$\lim\limits_{n\to\infty}d(Y^*_n,\Phi)= 0\,.$$
  
   
    $\Box$
  
  
  

Korollar 5.4   Unter den Voraussetzungen von Theorem  $\ref{the.zen.gre}$ gilt

$$\lim\limits _{n\to\infty}P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} <x\Bigr)=\Phi(x)$$ (66)

für jedes $x\in\mathbb{R}$, und

$$\lim\limits _{n\to\infty}P\Bigl(a\le\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} \le b\Bigr)=\Phi(b)-\Phi(a)$$ (67)

für beliebige $a,b\in\mathbb{R}$ mit $a\le b$.

Beweis

 

• Die Behauptung (66) ergibt sich aus Theorem 5.16, weil
  $$\limsup\limits _{n\to\infty}P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\... ...ty} P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} \le x\Bigr)=\Phi(x)\,,$$
  weil für jedes $h>0$
  $$\Phi(x-h)=\liminf\limits _{n\to\infty}P\Bigl(\frac{(X_1+\ldots+X_... ...its _{n\to\infty} P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} <x\Bigr)$$
  und weil die Verteilungsfunktion $\Phi$ der N$(0,1)$-Verteilung stetig ist.
• Die Behauptung (67) ergibt sich nun aus Theorem 5.16 und aus (66), denn es gilt
  

  $${ \lim\limits _{n\to\infty}P\Bigl(a\le\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} \le b\Bigr)}$$

  $$= \lim\limits _{n\to\infty}\Bigl(P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu... ... \le b\Bigr)-P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} <a\Bigr)\Bigr)$$

  $$= \lim\limits _{n\to\infty}P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sig... ...mits _{n\to\infty} P\Bigl(\frac{(X_1+\ldots+X_n)-n\mu}{\sigma\sqrt{n}} <a\Bigr)$$

  $$= \Phi(b)-\Phi(a)\,.$$

  
  
  
   
    $\Box$