Asymptotische Verteilung

Wir untersuchen nun die asymptotische Verteilung der in (2) eingeführten KS-Teststatistik $T_n(X_1,\ldots,X_n)$, wenn $n\to\infty$. Hierfür stellen wir zunächst einige Hilfsmittel bereit.

Insbesondere benötigen wir den folgenden Stetigkeitssatz für charakteristische Funktionen von Zufallsvektoren, der eine mehrdimensionale Verallgemeinerung von Theorem WR-5.20 ist und den wir hier ohne Beweis angeben.

Lemma 5.1   $\;$ Sei $m\in\mathbb{N}$, und seien ${\mathbf{Z}},{\mathbf{Z}}_1,{\mathbf{Z}}_2,\ldots:\Omega\to\mathbb{R}^m$ beliebige Zufallsvektoren mit den charakteristischen Funktionen $\varphi_{{\mathbf{Z}}_n}$ bzw $\varphi_{{\mathbf{Z}}}$. Es gilt ${\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow}{\mathbf{Z}}$ genau dann, wenn

$$\lim\limits_{n\to\infty}\varphi_{{\mathbf{Z}}_n}({\mathbf{t}}) =\varphi_{{\mathbf{Z}}}({\mathbf{t}})\qquad\forall {\mathbf{t}}\in\mathbb{R}^m .$$ (4)

Außerdem benötigen wir einen multivariaten zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvektoren,

• dessen Beweis mit Hilfe von Lemma 5.1 auf den entsprechenden zentralen Grenzwertsatz für reellwertige Zufallsvariablen (vgl. Theorem WR-5.16) zurückgeführt werden kann.
• Dieser Ansatz wird in der englischsprachigen Literatur Cramèr-Wold-Device genannt.

Lemma 5.2    

• Sei $m\in\mathbb{N}$, und sei ${\mathbf{Z}}_1,{\mathbf{Z}}_2,\ldots:\Omega\to\mathbb{R}^m$ eine Folge von unabhängigen und identisch verteilten Zufallsvektoren mit Erwartungswertvektor ${\boldsymbol{\mu}}=(\mu_1,\ldots,\mu_m)^\top$ und Kovarianzmatrix ${\mathbf{K}}$.
• Dann gilt

  $$\lim\limits_{n\to\infty}\mathbb{P}\Bigl(\frac{({\mathbf{Z}}_1+\ld... ...r)=\Phi_{\mathbf{K}}({\mathbf{x}})\qquad\forall {\mathbf{x}}\in\mathbb{R}^m ,$$ (5)

  
  
  wobei $\Phi_{\mathbf{K}}:\mathbb{R}^m\to[0,1]$ die Verteilungsfunktion der ${\rm N}({\mathbf{o}},{\mathbf{K}})$-Verteilung bezeichnet.

Beweis

 

• Sei ${\mathbf{Z}}_n=(Z_{n1},\ldots,Z_{nm})^\top$. Wegen Lemma 5.1 ist die Verteilungskonvergenz (5) damit äquivalent, dass für jedes ${\mathbf{t}}\in\mathbb{R}^m$

  $$\lim\limits_{n\to\infty}\varphi_n({\mathbf{t}})=\varphi({\mathbf{t}}) ,$$ (6)

  
  
  • wobei $\varphi_n({\mathbf{t}})$ die charakteristische Funktion von $({\mathbf{Z}}_1+\ldots+{\mathbf{Z}}_n-n{\boldsymbol{\mu}})/\sqrt{n}$ ist mit
    $$\varphi_n({\mathbf{t}})={\mathbb{E} }\exp\Bigl({\rm i} \sum\limits_{j=1}^m t_j\;\frac{(Z_{1j}+\ldots+Z_{nj})-n\mu_j}{\sqrt{n}} \Bigr)$$

  • und $\varphi({\mathbf{t}})$ die charakteristische Funktion der N $({\mathbf{o}},{\mathbf{K}})$-Verteilung ist mit

    $$\varphi({\mathbf{t}})=\exp\Bigl(-\;\frac{1}{2}\;{\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}\Bigr) .$$ (7)

    
    

• Außerdem kann man sich leicht überlegen, dass

  $$\varphi_n({\mathbf{t}})={\mathbb{E} }\exp\Bigl({\rm i} \sum\lim... ...qrt{n}} \Bigr)\qquad \forall {\mathbf{t}}=(t_1,\ldots,t_m)^\top\in\mathbb{R}^m$$ (8)

  
  
  und

  $${\mathbb{E} }\Bigl(\sum\limits_{j=1}^m t_j(Z_{kj}-\mu_j)\Bigr)=0... ...Bigr)={\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}\qquad\forall k\in\mathbb{N} .$$ (9)

  
  

• Wenn ${\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}=0$, dann ergibt sich aus (9),
  • dass $\sum_{j=1}^m t_j(Z_{kj}-\mu_j)=0$ mit Wahrscheinlichkeit $1$ für beliebige $k=1,\ldots,n$ und $n\ge 1$.
  • Hieraus und aus (7) - (8) folgt, dass $\varphi_n({\mathbf{t}})=1=\varphi({\mathbf{t}})$ für jedes $n\ge 1$, d.h., (6) gilt.
• Sei nun ${\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}>0$.
  • Aus (8) ergibt sich, dass die Zahl $\varphi_n({\mathbf{t}})$ der Wert der charakteristischen Funktion der reellwertigen Zufallsvariable $\sum_{k=1}^n \sum_{j=1}^m t_j(Z_{kj}-\mu_j)/\sqrt{n}$ an der Stelle $1$ ist.
  • Außerdem ergibt sich aus (7), dass $\varphi({\mathbf{t}})$ der Wert der charakteristischen Funktion der (eindimensionalen) Normalverteilung N $(0,{\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}})$ an der Stelle $1$ ist.
  • Andererseits folgt aus Theorem WR-5.16, d.h., aus dem (1-dimensionalen) zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten (reellwertigen) Zufallsvariablen, dass für $n\to\infty$

    $$\sum\limits_{k=1}^n \frac{\sum\limits_{j=1}^m t_j(Z_{kj}-\mu_j)}{... ... d}}{\longrightarrow} {\rm N}(0,{\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}) .$$ (10)

    
    

  • Hieraus, aus (7) - (8) und aus Theorem WR-5.20, d.h., aus dem Stetigkeitssatz für charakteristische Funktionen von reellwertigen Zufallsvariablen ergibt sich nun die Gültigkeit von (6).
    
    $\Box$

Der folgende Grenzwertsatz, der bereits in Abschnitt I-1.5.3 erwähnt wurde, liefert eine Näherungsformel für die Verteilungsfunktion von $T_n(X_1,\ldots,X_n)$ bei großem Stichprobenumfang $n$.

Theorem 5.1   $\;$ Die Verteilungsfunktion $F_0:\mathbb{R}\to[0,1]$ sei stetig. Unter $H_0:P=P_0$ gilt dann

$$\lim\limits_{n\to\infty}\mathbb{P}\bigl(T_n(X_1,\ldots,X_n) \le x\bigr)= K(x)\qquad\forall x\in\mathbb{R} ,$$

wobei $K:\mathbb{R}\to[0,1]$ die Verteilungsfunktion der sogenannten Kolmogorow-Verteilung ist mit

$$K(x)=\left\{\begin{array}{ll} 1-2\sum\limits_{k=1}^\infty (-1)^{k... ...& \mbox{wenn $x>0$,}\ [3\jot] 0 , & \mbox{wenn $x\le 0$.} \end{array}\right.$$ (11)

Beweis

 

• Wir skizzieren hier lediglich die Beweisidee, denn der komplette Beweis von Theorem 5.1 (vgl. z.B. A. van der Vaart und J. Wellner (1996)) geht über den Rahmen dieser Vorlesung hinaus,
  • weil er relativ tiefliegende Hilfsmittel aus der Theorie der stochastischen Prozesse erfordert, die in den Kursvorlesungen nicht behandelt werden.
  • Dabei wird insbesondere der Begriff der Verteilungskonvergenz in Funktionenräumen sowie ein so genannter funktionaler zentraler Grenzwertsatz benötigt,
  • der als eine (unendlich dimensionale) Verallgemeinerung der klassischen zentralen Grenzwertsätze für Summen von rellwertigen Zufallsvariablen (vgl. Abschnitt  WR-5.3) bzw. von endlich-dimensionalen Zufallsvektoren (vgl. Lemma 5.2) aufgefasst werden kann.
• Weil die Verteilung von $T_n(X_1,\ldots,X_n)$ nicht von $F_0$ abhängt (vgl. Theorem I-1.19), können wir o.B.d.A. annehmen, dass $F_0$ die Verteilungsfunktion der Gleichverteilung in $[0,1]$ ist, d.h., $F_0(t)=t$ für jedes $t\in[0,1]$.
  • Um die asymptotische Verteilung von $T_n(X_1,\ldots,X_n)$ für $n\to\infty$ zu untersuchen, verwenden wir dabei die abkürzende Schreibweise

    $$B_n(t)=\sqrt{n}\;\bigl( \widehat F_n(t;X_1,\ldots,X_n)-F_0(t)\bigr)\qquad\forall t\in[0,1] ,$$ (12)

    
    

  • wobei die Familie von Zufallsvariablen $\{B_n(t), t\in[0,1]\}$ ein stochastischer Prozess ist, der in der Literatur empirischer Prozess genannt wird.
• Für beliebige $t_1,\ldots, t_m\in[0,1]$ gilt dann $\sqrt{n}\bigl(B_n(t_1),\ldots,B_n(t_m)\bigr) =\sum_{i=1}^n\bigl(Y_i(t_1)-t_1,\ldots,Y_i(t_m)-t_m\bigr)$, wobei
  $$Y_i(t_j)=\left\{\begin{array}{ll}1 ,&\mbox{wenn $X_i\le t_j$,}\\ 0 ,&\mbox{wenn $X_i> t_j$.} \end{array}\right.$$
  • Der Zufallsvektor $\sqrt{n}\bigl(B_n(t_1),\ldots,B_n(t_m)\bigr)$ lässt sich somit für jedes $n\ge 1$ als Summe von $n$ unabhängigen und identisch verteilten Zufallsvektoren mit Erwartungswertvektor ${\bf o}$ darstellen, dessen Kovarianzmatrix ${\mathbf{K}}=(\sigma^2_{ij})$ durch $\sigma^2_{ij}=\min\{t_i,t_j\}-t_it_j$ gegeben ist.
  • Aus Lemma 5.2 ergibt sich nun, dass für $n\to\infty$

    $$\bigl(B_n(t_1),\ldots,B_n(t_m)\bigr)\stackrel{{\rm d}}{\longrightarrow} \bigl(B(t_1),\ldots,B(t_m)\bigr) ,$$ (13)

    
    
    wobei $\bigl(B(t_1),\ldots,B(t_m)\bigr)$ ein normalverteilter Zufallsvektor ist mit $\bigl(B(t_1),\ldots,B(t_m)\bigr)\sim {\rm N}({\bf o},{\mathbf{K}})$.
  • Hieraus und aus dem Continuous-Mapping-Theorem für Zufallsvektoren (vgl. Lemma 4.5) folgt, dass

    $$\max\limits_{i=1,\ldots,m} \sqrt{n}\bigl\vert\widehat F_n(t_i;X_1... ...m d}}{\longrightarrow} \max\limits_{i=1,\ldots,m}\bigl\vert B(t_i)\bigr\vert ,$$ (14)

    
    

• Man kann sich leicht überlegen, dass die Verteilung ${\rm N}({\bf o},{\mathbf{K}})$ des Zufallsvektors $\bigl(B(t_1),\ldots,B(t_m)\bigr)$ als
  • endlich-dimensionale Verteilung des so genannten Brownschen Brückenprozesses $\{B(t), t\in[0,1]\}$ mit $B(t)=X(t)-tX(1)$ aufgefasst werden kann, wobei $\{X(t), t\in[0,1]\}$ ein (Standard-) Wiener-Prozess ist,
  • d.h., $\{X(t), t\in[0,1]\}$ ist ein stochastischer Prozess mit stetigen Trajektorien und unabhängigen Zuwächsen, so dass $X(0)=0$ und $X(t_2)-X(t_1)\sim {\rm N}(0,t_2-t_1)$ für beliebige $t_1,t_2\in[0,1]$ mit $t_1<t_2$, vgl. Abschnitt 2.4 des Skriptes zur Vorlesung ,,Wahrscheinlichkeitstheorie''.
• Mit Hilfe der Theorie der Verteilungskonvergenz in Funktionenräumen sowie eines entsprechenden funktionalen zentralen Grenzwertsatzes kann man nun zeigen, dass nicht nur die ,,endlich-dimensionalen'' Konvergenzen (13) und (14) gelten, sondern dass darüber hinaus auch

  $$\bigl(B_n(t), t\in[0,1]\bigr)\stackrel{{\rm d}}{\longrightarrow}\bigl(B(t), t\in[0,1]\bigr)$$ (15)

  
  
  bzw.

  $$\max\limits_{t\in[0,1]} \sqrt{n}\bigl\vert\widehat F_n(t;X_1,\ldo... ...{{\rm d}}{\longrightarrow} \max\limits_{t\in[0,1]} \bigl\vert B(t)\bigr\vert .$$ (16)

  
  

• Außerdem kann man zeigen, dass die Verteilungsfunktion des Maximums $\max_{t\in[0,1]} \bigl\vert B(t)\bigr\vert$ der Brownschen Brücke $\{B(t), t\in[0,1]\}$ durch (11) gegeben ist.
  
  $\Box$

Beachte

 

• Wegen Theorem 5.1 wird bei hinreichend großem Stichprobenumfang (als ,,Faustregel'' gilt $n>40$, vgl. die Bemerkung am Ende von Abschnitt I-1.5.3) die Hypothese $H_0:P=P_0$ abgelehnt, wenn
  $$T_n(x_1,\ldots,x_n)>\xi_{1-\alpha} ,$$

• wobei $\xi_{1-\alpha}$ das $(1-\alpha)$-Quantil der in (11) gegebenen Kolmogorow-Verteilung bezeichnet, d.h., $\xi_{1-\alpha}$ ist Lösung der Gleichung $K(\xi_{1-\alpha})=1-\alpha$.