Satz von Gliwenko-Cantelli

• In diesem Abschnitt betrachten wir die Abweichung

  $$D_n=\sup\limits_{x\in\mathbb{R}}\vert\,\widehat F_n(x)-F(x)\vert\,.$$ (68)

  
  
  der empirischen Verteilungsfunktion $\,\widehat F_n$ von der zu schätzenden Verteilungsfunktion $F$ der Stichprobenvariablen $X_1,\ldots,X_n$.
• Die in (68) definierte Zufallsvariable $D_n$ wird Kolmogorow-Abstand von $\,\widehat F_n$ und $F$ genannt.
• Weil die empirische Verteilungsfunktion $\,\widehat F_n$ eine Treppenfunktion ist (vgl. (63)) und weil $F$ monoton nichtfallend und rechtsstetig ist, lässt sich (68) auch wie folgt schreiben:
  $$D_n=\max\limits_{i\in\{1,\ldots,n\}} \max\Bigl\{\Bigl\vert\frac{... ...(X_{(i)}-0)\Bigr\vert\,,\, \Bigl\vert\frac{i}{n}-F(X_{(i)})\Bigr\vert\Bigr\}$$
  bzw.

  $$D_n=\max\limits_{i\in\{1,\ldots,n\}}\max\Bigl\{F(X_{(i)}-0)-\frac{i-1}{n}\,,\, \frac{i}{n}-F(X_{(i)})\Bigr\}$$ (69)

  
  
  wobei $X_{(i)}$ die $i$-te Ordnungsstatistik von $X_1,\ldots,X_n$ ist, vgl. Übungsaufgabe 5.3.
• Wir können $D_n$ als den maximalen Schätzfehler bei der Schätzung der Funktionswerte $F(x)$ von $F$ durch $\,\widehat F_n(x)$ auffassen.

Beachte

 

• In Theorem 1.17 wurde gezeigt (vgl. (66)), dass die empirische Verteilungsfunktion $\,\widehat F_n$ punktweise mit Wahrscheinlichkeit 1 gegen $F$ konvergiert, d.h.,
  $$P\Bigl(\lim\limits_{n\to\infty}\,\widehat F_n(x)= F(x)\Bigr)=1\qquad\forall\, x\in\mathbb{R}\,.$$

• Darüber hinaus kann man zeigen, dass sich auch die Verteilungsfunktion $F$ insgesamt durch den empirischen Prozess $\{\,\widehat F_n(x),\, x\in\mathbb{R}\}$ im Sinne der fast sicheren Konvergenz approximieren lässt, falls der Stichprobenumfang $n$ unendlich groß wird.
• Damit ist die folgende Eigenschaft des Kolmogorow-Abstandes $D_n$ gemeint, die in der Literatur Satz von Gliwenko-Cantelli genannt wird.

Theorem 1.18   $\;$ Es gilt

$$P\Bigl(\lim\limits _{n\to\infty} D_n=0\Bigr)=1\,.$$ (70)

Beweis

 

• Wir nehmen zunächst an, dass die Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ stetig ist.
• Für jede natürliche Zahl $m\in\mathbb{N}$ gibt es dann reelle Zahlen $z_1,\ldots,z_{m-1}\in\mathbb{R}$, so dass
  $$z_0=-\infty<z_1<\ldots<z_{m-1}<z_m=\infty$$
  und

  $$F(z_0)=0\,,\, F(z_1)=\frac{1}{m}\;,\ldots,\,F(z_k)=\frac{k}{m}\;,\ldots,\,F(z_{m-1})=\frac{m-1}{m}\;,\, F(z_m)=1\,.$$ (71)

  
  

• Mit der Schreibweise $\varepsilon=1/m$ ergibt sich dann hieraus, dass für jedes $z\in[z_k,z_{k+1})$

  $$\begin{array}{lll} \,\widehat F_n(z)-F(z) &\le \;\;\;\,\wide... ...;\;\;\,\widehat F_n(z_{k})-F(z_{k})-\varepsilon\,. \end{array}$$ (72)

  
  

• Für beliebige $m\in\mathbb{N}$ und $k\in\{0,1,\ldots,m\}$ sei
  $$A_{m,k}=\Bigl\{\omega\in\Omega:\,\lim\limits_{n\to\infty}\,\widehat F_n(z_k,\omega)=F(z_k)\Bigr\}\,.$$

• Aus Teilaussage 3 von Theorem 1.17 ergibt sich dann, dass

  $$P(A_{m,k})=1$$ (73)

  
  
  für beliebige $m\in\mathbb{N}$ und $k\in\{0,1,\ldots,m\}$.
• Damit gilt auch

  $$P(A_m)=1\,,$$ (74)

  
  
  wobei
  $$A_m=\bigcap\limits_{k=0}^m A_{m,k}\,,$$
  denn aus (73) ergibt sich, dass
  

  $$P(A_m) = 1-P(A_m^c)$$

  $$= 1-P\Bigl(\bigcup\limits_{k=0}^m A_{m,k}^c\Bigr)$$

  $$\ge 1-\sum\limits_{k=0}^m P(A_{m,k}^c) =1\,.$$

  
  

• Für jedes $\omega\in A_m$ gibt es nun eine natürliche Zahl $n(\omega)\in\mathbb{N}$, so dass
  $$\vert\,\widehat F_n(z_k,\omega)-F(z_k)\vert<\varepsilon$$
  für jedes $n\ge n(\omega)$ und für jedes $k\in\{0,1,\ldots,m\}$.
• Hieraus und aus (72) folgt, dass

  $$\sup\limits_{z\in\mathbb{R}}\vert\,\widehat F_n(z,\omega)-F(z)\vert<2\varepsilon$$ (75)

  
  
  für jedes $\omega\in A_m$ und für jedes $n\ge n(\omega)$.
• Dies bedeutet, dass es für jedes $\omega\in A=\bigcap_{m=1}^\infty A_m$ und für jedes $\varepsilon>0$ eine natürliche Zahl $n(\omega,\varepsilon)\in\mathbb{N}$ gibt, so dass (75) für jedes $n\ge n(\omega,\varepsilon)$ gilt.
• Dabei ergibt sich genauso wie im Beweis von (74), dass
  

  $$P(A) = 1-P(A^c)$$

  $$= 1-P\Bigl(\bigcup\limits_{m=1}^\infty A_m^c\Bigr)$$

  $$\ge 1-\sum\limits_{m=1}^\infty P(A_m^c) =1\,,$$

  
  
  weil $P(A_m^c) =0$ für jedes $m\in\mathbb{N}$.
• Weil $\varepsilon>0$ beliebig klein gewählt werden kann, ist somit die Behauptung (70) für den Fall bewiesen, dass die Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ stetig ist.
• Im Fall einer beliebigen (nichtnotwendig stetigen) Verteilungsfunktion $F$ lässt sich die Gültigkeit von (70) auf ähnliche Weise zeigen.
• Anstelle von (71) nutzen wir nun die Tatsache, dass es für jede natürliche Zahl $m\in\mathbb{N}$ reelle Zahlen $z_1,\ldots,z_{m-1}\in\mathbb{R}$ gibt, so dass
  $$z_0=-\infty<z_1<\ldots<z_{m-1}<z_m=\infty$$
  und für jedes $k\in\{0,1,\ldots,m\}$

  $$F(z_{k+1}-0)-F(z_k)\le\varepsilon\,,$$ (76)

  
  
  wobei $\varepsilon=1/m$.
• Außerdem ergibt sich genauso wie bei der Herleitung von (72), dass für jedes $z\in[z_k,z_{k+1})$

  $$\begin{array}{ll} \,\widehat F_n(z)-F(z) &\le \;\;\;\,\wideh... ...\;\;\,\widehat F_n(z_{k})-F(z_{k})-\varepsilon\,. \end{array}$$ (77)

  
  

• Aus Teilaussage 3 von Theorem 1.17 ergibt sich ähnlich wie (73), dass $P(A^\prime_{m,k})=1$ für beliebige $m\in\mathbb{N}$ und $k\in\{0,1,\ldots,m\}$, wobei
  $$A^\prime_{m,k}=\Bigl\{\omega\in\Omega:\,\lim\limits_{n\to\infty}\,\widehat F_n(z_k-0,\omega)= F(z_k-0)\Bigr\}\,.$$

• Hieraus und aus (77) folgt dann, dass (75) für jedes $\omega\in A^\prime_m$ und für jedes $n\ge n(\omega)$ gilt, wobei
  $$A^\prime_m=\bigcap\limits_{k=0}^m \bigl(A_{m,k}\cap A^\prime_{m,k}\bigr) \,.$$

• Weil $P(A^\prime_m)=1$ für jedes $m\in\mathbb{N}$, ergibt sich nun die Behauptung genauso wie im ersten Teil des Beweises.
  
  $\Box$

Beachte

$\;$ Ein JAVA-Applet, mit dem die Aussage des Satzes von Gliwenko-Cantelli, d.h. der Grenzübergang (70) simuliert werden kann, findet man beispielsweise auf der Internet-Seite:

• http://www.ms.uky.edu/~mai/java/stat/EmpDis.html

Dieses JAVA-Applet simuliert die empirische Tailfunktion $1-\,\widehat F_n$ für den Fall, dass $F(x)=1-\exp(-x)$ für $x\ge 0$, d.h., $F$ ist die Verteilungsfunktion der Exponentialverteilung Exp$(\lambda)$ mit dem Parameter $\lambda=1$.