Bedingungen von Lindeberg und Ljapunow

• Wir diskutieren nun die Frage, unter welchen Bedingungen der zentrale Grenzwertsatz für Summen von unabhängigen, jedoch nicht notwendig identisch verteilten Zufallsvariablen gilt.
• Dabei betrachten wir für jedes $n\in\mathbb{N}$ eine Folge von unabhängigen Zufallsvariablen $X_{n1},\ldots,X_{nn}:\Omega\to\mathbb{R}$, wobei wir (o.B.d.A.) voraussetzen, dass für jedes $k\in\{1,\ldots,n\}$

  $${\mathbb{E}\,}X_{nk}=0\,,\qquad0<\sigma_{nk}^2={\rm Var\,} X_{nk}<\infty \qquad \sum\limits_{k=1}^n\sigma_{nk}^2=1\,.$$ (99)

  
  

• Die Verteilungsfunktion von $X_{nk}$ bezeichnen wir mit $F_{nk}$.
• Beachte. Es wird nicht ausgeschlossen, dass $F_{nk}$ für jedes $k\in\{1,\ldots,n\}$ auch von der Anzahl $n$ der insgesamt betrachteten Zufallsvariablen $X_{n1},\ldots,X_{nn}$ abhängen kann.

Der folgende zentrale Grenzwertsatz von Lindeberg kann sowohl als Verallgemeinerung von Theorem 5.16 als auch von Lemma 5.9 aufgefasst werden, wenn dabei

$$X_{nk}=\frac{X_k-{\mathbb{E}\,}X_k}{\sqrt{n{\rm Var\,}X_k}}$$ (100)

gesetzt wird.

Theorem 5.22   Für jedes $n\in\mathbb{N}$ sei $X_{n1},\ldots,X_{nn}:\Omega\to\mathbb{R}$ eine Folge von unabhängigen Zufallsvariablen, die den Bedingungen $(\ref{ohn.ein.der})$ genügen. Falls für jedes $\varepsilon>0$

$$\lim\limits_{n\to\infty} \sum\limits_{k=1}^n\; \int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} x^2\, dF_{nk}(x) =0\,,$$ (101)

dann gilt für jedes $x\in\mathbb{R}$

$$\lim\limits _{n\to\infty}P\bigl(X_{n1}+\ldots+X_{nn} \le x\bigr)=\Phi(x)\,,$$ (102)

wobei $\Phi:\mathbb{R}\to[0,1]$ die Verteilungsfunktion der Standardnormalverteilung ist.

Beachte

 

• Der zentrale Grenzwertsatz in Theorem 5.16 für Summen von unabhängigen und identisch verteilten Summanden $X_1,X_2,\ldots$ ist ein Spezialfall von Theorem 5.22.
• Mit dem Ansatz (100) gilt nämlich für jedes $\varepsilon>0$
  

  $$\lim\limits_{n\to\infty} \sum\limits_{k=1}^n\; \int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} x^2\, dF_{nk}(x) = \lim\limits_{n\to\infty} \sum\limits_{k=1}^n\; \frac{1}{n\sigma^2... ...{R}\setminus(-\sqrt{n}\sigma\varepsilon,\sqrt{n}\sigma\varepsilon)} x^2\, dF(x)$$

  $$= \lim\limits_{n\to\infty} \; \frac{1}{\sigma^2} \int\limits_{\math... ...etminus(-\sqrt{n}\sigma\varepsilon,\sqrt{n}\sigma\varepsilon)} x^2\, dF(x)=0\,,$$

  
  
  wobei $\sigma^2={\rm Var\,}X_k$ und $F(x)=P(X_k-{\mathbb{E}\,}X_k<x)$.
• Auf ähnliche Weise lässt sich zeigen, dass auch Lemma 5.9 als Spezialfall von Theorem 5.22 aufgefasst werden kann.

Beachte

 

• Die Bedingung (101) bedeutet, dass

  $$\lim\limits_{n\to\infty} \sum\limits_{k=1}^n\;{\mathbb{E}\,}\bigl(X_{nk}^2{1\hspace{-1mm}{\rm I}}_{\{\vert X_{nk}\vert>\varepsilon\}}\bigr) =0\,.$$ (103)

  
  

• Weil
  $$\max\limits_{1\le k\le n}{\mathbb{E}\,}\bigl(X_{nk}^2\bigr)\le\va... ...bigl(X_{nk}^2{1\hspace{-1mm}{\rm I}}_{\{\vert X_{nk}\vert>\varepsilon\}}\bigr)$$
  folgt aus (101), dass

  $$\lim\limits_{n\to\infty}\max\limits_{1\le k\le n}{\mathbb{E}\,}\bigl(X_{nk}^2\bigr)=0\,.$$ (104)

  
  

• Weil ${\mathbb{E}\,}X_{nk}=0$ vorausgesetzt wird, ergibt sich aus (104) und aus der Tschebyschew-Ungleichung (4.72), dass für jedes $\varepsilon>0$

  $$\lim\limits_{n\to\infty}\max\limits_{1\le k\le n} P(\vert X_{nk}\vert>\varepsilon)=0\,.$$ (105)

  
  

• Wenn die Bedingung (105) erfüllt ist, dann spricht man von der (gleichmäßigen) asymptotischen Kleinheit der Summanden $X_{nk}$.

Im Beweis von Theorem 5.22 benötigen wir die folgenden Hilfssätze.

Lemma 5.11   Für jedes $n\in\mathbb{N}$ und für beliebige $y_1,\ldots,y_n\in\mathbb{C}$, $z_1,\ldots,z_n\in\mathbb{C}$ mit $\vert y_k\vert,\vert z_k\vert\le 1$ für jedes $k\in\{1,\ldots,n\}$ gilt

$$\Bigl\vert\prod\limits_{k=1}^n z_k-\prod\limits_{k=1}^n y_k\Bigr\vert\le \sum\limits_{k=1}^n \vert z_k-y_k\vert\,.$$ (106)

Beweis

 

• Wir beweisen (106) mit vollständiger Induktion.
• Für $n=1$ ist die Gültigkeit von (106) offensichtlich.
• Es gelte nun (106) für ein $n\in\mathbb{N}$. Dann gilt auch
  

  $$\Bigl\vert\prod\limits_{k=1}^{n+1} z_k-\prod\limits_{k=1}^{n+1} y_k\Bigr\vert \le \Bigl\vert\prod\limits_{k=1}^{n+1} z_k-z_{n+1}\prod\limits_{k=1}^... ...igl\vert z_{n+1}\prod\limits_{k=1}^n y_k-\prod\limits_{k=1}^{n+1} y_k\Bigr\vert$$

  $$= \underbrace{\vert z_{n+1}}_{\le 1}\vert\Bigl\vert\prod\limits_{k=... ...-y_{n+1}\vert \underbrace{\Bigl\vert\prod\limits_{k=1}^n y_k\Bigr\vert}_{\le 1}$$

  $$\le \sum\limits_{k=1}^n \vert z_k-y_k\vert+\vert z_{n+1}-y_{n+1}\vert$$

  $$= \sum\limits_{k=1}^{n+1} \vert z_k-y_k\vert\,,$$

  
  
  wobei sich die letzte Ungleichung aus der Induktionsannahme ergibt.
  
  $\Box$

Ähnlich wie in Theorem 5.21 entwickeln wir nun die charakteristische Funktion $\varphi_X$ einer Zufallsvariablen $X$ in eine Taylor-Reihe, wobei wir jetzt aber eine andere Abschätzung des Restgliedes als in (95) betrachten.

Lemma 5.12   Sei $X:\Omega\to\mathbb{R}$ eine beliebige Zufallsvariable mit ${\mathbb{E}\,}(\vert X\vert^n)<\infty$ für ein $n\in\mathbb{N}$. Dann gilt:

$$\varphi_X(t)=\sum\limits_{k=0}^n\frac{({\rm i}\, t)^k}{k!}{\mathbb{E}\,}(X^k)+R_n(t)\qquad\forall t\in\mathbb{R}\,,$$ (107)

wobei

$$\vert R_n(t)\vert\le{\mathbb{E}\,}\Bigl(\min\Bigl\{\frac{\vert tX\vert^{n+1}}{(n+1)!}\;,\, 2\;\frac{\vert tX\vert^{n}}{n!}\Bigr\}\Bigr)\,.$$

Beweis

 

• Mit vollständiger Induktion zeigen wir zunächst, dass für beliebige $n\in\mathbb{N}$ und $t\in\mathbb{R}$

  $$\Bigl\vert\,e^{{\rm i}\,t}-\Bigl(1+\frac{{\rm i}\,t}{1!}+\ldots+\... ...{\frac{\vert t\vert^{n+1}}{(n+1)!}\;,\,2\;\frac{\vert t\vert^{n}}{n!}\Bigr\}\,.$$ (108)

  
  

• Für $n=0$ gilt offenbar
  $$\vert e^{{\rm i}\,t}-1\vert\le\vert e^{{\rm i}\,t}\vert+1= 2$$
  und
  $$\vert e^{{\rm i}\,t}-1\vert=\Bigl\vert\int\limits_0^t e^{{\rm i}\... ...t\le\int\limits_0^{\vert t\vert}\vert e^{{\rm i}\,s}\vert\, ds=\vert t\vert\,.$$

• Es gelte nun (108) für ein $n\in\mathbb{N}$. Dann gilt auch
  

  $$\Bigl\vert\,e^{{\rm i}\,t}-\sum\limits_{k=0}^{n+1}\frac{({\rm i}\, t)^k}{k!}\Bigr\vert = \Bigl\vert\int\limits_0^t\Bigl(e^{{\rm i}\, s}-\sum\limits_{k=0}^{n}\frac{({\rm i}\,s)^k}{k!}\Bigr)\,ds\Bigr\vert$$

  $$\stackrel{\mbox{\small Induktionsannahme}}{\le} \int\limits_0^{\vert t\vert} \min\Bigl\{\frac{\vert s\vert^{n+1}}{(n+1)!}\;,\,2\;\frac{\vert s\vert^{n}}{n!}\Bigr\}\, ds$$

  $$\le \min\Bigl\{\int\limits_0^{\vert t\vert}\frac{\vert s\vert^{n+1}}{... ..., ds\;,\,2\int\limits_0^{\vert t\vert}\;\frac{\vert s\vert^{n}}{n!}\, ds\Bigr\}$$

  $$= \min\Bigl\{\frac{\vert t\vert^{n+2}}{(n+2)!}\,,\; 2\;\frac{\vert t\vert^{n+1}}{(n+1)!}\Bigr\}\,.$$

  
  

• Damit ist die Gültigkeit von (108) für jedes $n\in\mathbb{N}$ bewiesen.
• Wenn nun in (108) die Zahl $t$ durch $tX$ ersetzt wird und wenn auf beiden Seiten von (108) der Erwartungswert gebildet wird, dann ergibt sich für jedes $t\in\mathbb{R}$
  

  $$\Bigl\vert\varphi_X(t)-\sum\limits_{k=0}^n\frac{({\rm i}\, t)^k}{k!}{\mathbb{E}\,}(X^k)\Bigr\vert = \Bigl\vert{\mathbb{E}\,}e^{{\rm i}\, tX}-{\mathbb{E}\,}\Bigl(1+\frac{{\rm i}\,tX}{1!}+\ldots+\frac{({\rm i}\, tX)^n}{n!}\Bigr)\Bigr\vert$$

  $$\le {\mathbb{E}\,}\Bigl\vert\,e^{{\rm i}\,tX}-\Bigl(1+\frac{{\rm i}\, tX}{1!}+\ldots+\frac{({\rm i}\,tX)^n}{n!}\Bigr)\Bigr\vert$$

  $$\le {\mathbb{E}\,}\min\Bigl\{\frac{\vert tX\vert^{n+1}}{(n+1)!}\;,\,2\;\frac{\vert tX\vert^{n}}{n!}\Bigr\}\,.$$

  
  

• Damit ist (107) bewiesen.
  
  $\Box$

Beweis von Theorem 5.22

 

• Für beliebige $n\in\mathbb{N}$ und $k\in\{1,\ldots,n\}$ betrachten wir die charakteristische Funktion $\varphi_{nk}(t)={\mathbb{E}\,}e^{{\rm i}\,t X_{nk}}$ von $X_{nk}$.
• Wegen Theorem 5.18 gilt für die charakteristische Funktion $\varphi_{X_{n1}+\ldots+X_{nn}}(t)$ der Summe $X_{n1}+\ldots+X_{nn}$
  $$\varphi_{X_{n1}+\ldots+X_{nn}}(t)=\prod\limits_{k=1}^n \varphi_{nk}(t)\qquad\forall t\in\mathbb{R}\,.$$

• Wegen des Stetigkeitssatzes für charakteristische Funktionen (vgl. Theorem 5.20) genügt es also zu zeigen, dass für jedes $t\in\mathbb{R}$

  $$\lim\limits_{n\to\infty}\Bigl\vert\prod\limits_{k=1}^n \varphi_{nk}(t)-e^{-t^2/2}\Bigr\vert=0\,.$$ (109)

  
  

• Aus (99) und aus Lemma 5.11 ergibt sich, dass
  

  $$\Bigl\vert\prod\limits_{k=1}^n \varphi_{nk}(t)-e^{-t^2/2}\Bigr\vert = \Bigl\vert\prod\limits_{k=1}^n \varphi_{nk}(t)-\prod\limits_{k=1}^n e^{-\sigma_{nk}^2 t^2/2}\Bigr\vert$$

  $$\le \sum\limits_{k=1}^n\Bigl\vert\varphi_{nk}(t)-\Bigl(1- \frac{\sigm... ...1}^n\Bigl\vert 1-\frac{\sigma_{nk}^2 t^2}{2}-e^{-\sigma_{nk}^2 t^2/2}\Bigr\vert$$

  
  

• Um (109) zu beweisen, genügt es nun zu zeigen, dass beide Summen in dieser Abschätzung für $n\to\infty$ gegen Null konvergieren.
• Aus Lemma 5.12 ergibt sich, dass für jedes $\varepsilon>0$
  

  $$\Bigl\vert\varphi_{nk}(t)-\Bigl(1- \frac{\sigma_{nk}^2 t^2}{2}\Bigr)\Bigr\vert \le {\mathbb{E}\,}\min\bigl\{\vert tX_{nk}\vert^3,2\vert tX_{nk}\vert^2\bigr\}$$

  $$\le \int\limits_{(-\varepsilon,\varepsilon)} \vert t\vert^3\vert x\ve... ... \int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} t^2x^2\,dF_{nk}(x)$$

  $$\le \varepsilon\vert t\vert^3\sigma_{nk}^2+2t^2\int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} x^2\,dF_{nk}(x)\,.$$

  
  

• Weil $\varepsilon>0$ beliebig klein gewählt werden kann, ergibt sich nun aus (99) und (101), dass
  $$\lim\limits_{n\to\infty}\sum\limits_{k=1}^n\Bigl\vert\varphi_{nk}(t)-\Bigl(1- \frac{\sigma_{nk}^2 t^2}{2}\Bigr)\Bigr\vert=0\,.$$

• Um zu zeigen, dass auch die zweite Summe für $n\to\infty$ gegen Null strebt, benutzen wir die Tatsache, dass für $\vert x\vert\le 1/2$
  $$\vert e^{-x}-1+x\vert\le x^2$$
  und dass wegen (104)
  $$t^2\max\limits_{1\le k\le n}\sigma_{nk}^2\le \frac{1}{2}$$
  für jedes hinreichend große $n\ge n_0$ gilt.
• Hieraus folgt, dass für $n\ge n_0$
  

  $$\sum\limits_{k=1}^n\Bigl\vert 1-\frac{\sigma_{nk}^2 t^2}{2}-e^{-\sigma_{nk}^2 t^2/2}\Bigr\vert \le \frac{t^4}{4} \sum\limits_{k=1}^n \sigma_{nk}^4$$

  $$\le \frac{t^4}{4} \max\limits_{1\le k\le n}\sigma_{nk}^2\sum\limits_{k=1}^n \sigma_{nk}^2$$

  $$= \frac{t^4}{4} \max\limits_{1\le k\le n}\sigma_{nk}^2\,.$$

  
  

• Aus (104) ergibt sich nun, dass auch die zweite Summe für $n\to\infty$ gegen Null strebt.
  
  $\Box$

Der folgende zentrale Grenzwertsatz von Ljapunow enthält eine Bedingung, die zwar schärfer, jedoch einfacher handhabbar ist als die Lindeberg-Bedingung (101) in Theorem 5.22.

Theorem 5.23   Für jedes $n\in\mathbb{N}$ sei $X_{n1},\ldots,X_{nn}:\Omega\to\mathbb{R}$ eine Folge von unabhängigen Zufallsvariablen, die den Bedingungen $(\ref{ohn.ein.der})$ genügen. Falls

$$\lim\limits_{n\to\infty} \sum\limits_{k=1}^n\;{\mathbb{E}\,}\vert X_{nk}\vert^{2+\delta}=0$$ (110)

für ein $\delta>0$, dann gilt für jedes $x\in\mathbb{R}$

$$\lim\limits _{n\to\infty}P\bigl(X_{n1}+\ldots+X_{nn} \le x\bigr)=\Phi(x)\,.$$ (111)

Beweis

 

• Für beliebige $\delta,\varepsilon>0$ gilt
  

  $$\int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} x^2\, dF_{nk}(x) \le \int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} \frac{\vert x\vert^{2+\delta}}{\varepsilon^\delta}\; dF_{nk}(x)$$

  $$\le \varepsilon^{-\delta}{\mathbb{E}\,}\vert X_{nk}\vert^{2+\delta}\,.$$

  
  

• Aus (110) folgt also die Gültigkeit der Lindeberg-Bedingung (101) in Theorem 5.22.
  
  $\Box$

Beachte

 

• In den Theoremen 5.22 bzw. 5.23 haben wir gezeigt, dass die Lindeberg-Bedingung (101) bzw. die Ljapunow-Bedingung (110) hinreichend für die asymptotische Normalverteiltheit der Summe $X_{n1}+\ldots+X_{nn}$ sind.
• Die Lindeberg-Bedingung (101) und damit auch die Ljapunow-Bedingung (110) sind im allgemeinen jedoch nicht notwendig für die asymptotische Normalverteiltheit der Summe $X_{n1}+\ldots+X_{nn}$
• Wir illustrieren diesen Sachverhalt durch das folgende Beispiel.
• Seien $X_1,X_2,\ldots:\Omega\to\mathbb{R}$ unabhängige normalverteilte Zufallsvariablen mit ${\mathbb{E}\,}X_1={\mathbb{E}\,}X_2=\ldots=0$ und
  $${\rm Var\,}X_1=1\,,\quad {\rm Var\,}X_k=2^{k-2}\qquad \forall k\ge 2\,.$$

• Dann ist die Summe $X_{n1}+\ldots+X_{nn}$ der Zufallsvariablen $X_{n1},\ldots,X_{nn}$ mit

  $$X_{nk}=\frac{X_k}{\sqrt{\sum\limits_{k=1}^n{\rm Var\,}X_k}}$$ (112)

  
  
  N$(0,1)$-verteilt wegen der Faltungsstabilität der Normalverteilung (vgl. Korollar 3.2)).
• D.h., es gilt insbesondere die asymptotische Normalverteiltheit (111).
• Die Lindeberg-Bedingung (101) ist jedoch nicht erfüllt, denn mit der Schreibweise
  $$c_{nk}=\frac{\sum\limits_{j=1}^n{\rm Var\,}X_j}{{\rm Var\,}X_k}$$
  gilt für die in (112) eingeführten Zufallsvariablen
  

  $$\sum\limits_{k=1}^n\; \int\limits_{\mathbb{R}\setminus(-\varepsilon,\varepsilon)} x^2\, dF_{nk}(x) = \sum\limits_{k=1}^n\;\frac{1}{c_{nk}} \int\limits_{\mathbb{R}\setminus(-\sqrt{c_{nk}}\varepsilon,\sqrt{c_{nk}}\varepsilon)} x^2\, d\Phi(x)$$

  $$\ge \frac{1}{c_{nn}} \int\limits_{\mathbb{R}\setminus(-\sqrt{c_{nn}}\varepsilon,\sqrt{c_{nn}}\varepsilon)} x^2\, d\Phi(x)$$

  $$\ge \frac{2^{n-2}}{1+1+2+\ldots+2^{n-2}} \int\limits_{\mathbb{R}\setminus(-\sqrt{2}\varepsilon,\sqrt{2}\varepsilon)} x^2\, d\Phi(x)\,,$$

  
  
  wobei diese untere Schranke offenbar nicht gegen 0 strebt.
• Der Grund hierfür ist, dass in diesem Beispiel die Summanden $X_{nk}$ mit großem Index $k$ nicht asymptotisch klein im Sinne von (105) sind, sondern die übrigen Summanden dominieren.

Der folgende zentrale Grenzwertsatz, den wir hier ohne Beweis erwähnen, enthält ein hinreichende und notwendige Bedingung für die Gültigkeit der asymptotischen Normalverteiltheit (111).

Theorem 5.24   Für jedes $n\in\mathbb{N}$ sei $X_{n1},\ldots,X_{nn}:\Omega\to\mathbb{R}$ eine Folge von unabhängigen Zufallsvariablen, die den Bedingungen $(\ref{ohn.ein.der})$ genügen. Es gilt $(\ref{zen.gre.lja})$ genau dann, wenn für jedes $\varepsilon>0$

$$\lim\limits_{n\to\infty} \sum\limits_{k=1}^n\; \int\limits_{\math... ...silon,\varepsilon)} \vert x\vert\, \vert F_{nk}(x)-\Phi_{nk}(x)\vert\, dx =0\,,$$ (113)

wobei $\Phi_{nk}(x)=\Phi(x/\sigma_{nk})$.

Einen Beweis von Theorem 5.24 kann man beispielsweise in Abschnitt III.4 des Buches A.N. Sirjaev (Wahrscheinlichkeit, Deutscher Verlag der Wissenschaften, Berlin 1988) finden.

Beachte

$\;$ Für das in (112) betrachtete Beispiel normalverteilter Summanden ist die Bedingung (113) offenbar erfüllt, denn es gilt $F_{nk}(x)-\Phi_{nk}(x)=0$ für jedes $x\in\mathbb{R}$.