$\chi ^2$-Anpassungstest; Monte-Carlo-Simulation

In diesem Abschnitt setzen wir nicht voraus, daß die Familie $\Delta$ der insgesamt in Betracht gezogenen Verteilungsfunktionen $F$ der Stichprobenvariablen $X_i$ eine parametrische Familie von Verteilungsfunktionen ist.

• Dabei soll die Hypothese $H_0:F=F_0$ getestet werden, daß die Verteilungsfunktion $F$ der Stichprobenvariablen $X_i$ gleich einer vorgegebenen (hypothetischen) Verteilungsfunktion $F_0$ ist (gegen die Alternativhypothese $H_1:F\not=F_0$).
• Zur Überprüfung der Hypothesen

  $$H_0:F=F_0 \qquad H_1:F\not=F_0$$ (90)

  
  
  werden in der Literatur verschiedene asymptotische Tests vorgeschlagen.
• Ein solches Verfahren ist beispielsweise der sogenannte Kolmogorow-Smirnow-Test, der auf der Untersuchung der in (16) eingeführten empirischen Verteilungsfunktion $\hat F_n:\mathbb{R}\times\mathbb{R}^n\to[0,1]$ beruht, wobei
  $$\hat F_n(x;x_1,\ldots,x_n)=\frac{1}{n}\vert\{i:\,1\le i\le n,\, x_i\le x\}\vert\,.$$

• Dabei wird die Testgröße $T_n:\mathbb{R}^n\to[0,\infty)$ betrachtet mit
  $$T_n(x_1,\ldots,x_n)=\sqrt{n}\;\sup\limits _{x\in\mathbb{R}}\vert\hat F_n(x;x_1,\ldots,x_n)-F_0(x)\vert\,.$$

• Die Hypothese $H_0:F=F_0$ wird abgelehnt, wenn $T_n(x_1,\ldots,x_n)>\xi_{1-\alpha}$, wobei $\xi_{1-\alpha}$ das $(1-\alpha)$-Quantil der in (24) gegebenen Grenzverteilung bezeichnet.
• Der Kolmogorow-Smirnow-Test hat jedoch den Nachteil, daß die Bestimmung der empirischen Verteilungsfunktion $\hat F_n$ relativ aufwendig ist, wenn der Stichprobenumfang $n$ groß ist.

Wir vereinfachen deshalb die ursprüngliche Fragestellung (90) auf die folgende Weise.

• Zerlegen den Wertebereich der Stichprobenvariablen $X_i$ in $r$ Klassen $(a_1,b_1],\ldots,(a_r,b_r]$ mit
  $$-\infty\le a_1<b_1=a_2<b_2=\ldots=a_r<b_r\le\infty\,,$$
  wobei $r$ eine (hinreichend große) natürliche Zahl ist.
• Anstelle der Zufallsstichprobe $(X_1,\ldots,X_n)$ betrachten wir den Zufallsvektor $(Y_1,\ldots,Y_r)$ der ,,Klassenstärken'', wobei

  $$Y_j=\vert\{i: \,1\le i\le n,\, a_j<X_i\le b_j\}\vert\,,\qquad j=1,\ldots,r\,.$$ (91)

  
  

Lemma 5.30

$\;$ Der in (91) definierte Zufallsvektor $(Y_1,\ldots,Y_r)$ ist multinomialverteilt mit den Parametern $n\in\mathbb{N}$ und $p=(p_1,\ldots,p_{r-1})\in[0,1]^{r-1}$ , d.h., für beliebige Zahlen $k_1,\ldots,k_r\in\mathbb{N}$ mit $k_1+\ldots+k_r=n$ gilt

$$P(Y_1=k_1,\ldots,Y_r=k_r)=\frac{n!}{k_1!\cdot\ldots\cdot k_r!}\; p_1^{k_1}\ldots p_r^{k_r}\,,$$ (92)

wobei $p_j=F(b_j)-F(a_j)$ für jedes $j=1,\ldots,r$.

Beweis

$\;$ Weil die Stichprobenvariablen $X_1,\ldots,X_n$ unabhängig und identisch verteilt sind (mit der Verteilungsfunktion $F$), gilt

$$P\bigl(X_1\in(a_{i_1},b_{i_1}],\ldots,X_n\in(a_{i_n},b_{i_n}]\bigr) =\prod\limits _{j=1}^n F(b_{i_j})-F(a_{i_j})$$

für jede Folge von Intervallen $(a_{i_1},b_{i_1}],\ldots,(a_{i_n},b_{i_n}]$. Hieraus ergibt sich (92) durch Permutation der Stichprobenvariablen.

Beachte

 

• Die Multinomialverteilung mit den Parametern $n\in\mathbb{N}$ und $p=(p_1,\ldots,p_{r-1})\in[0,1]^{r-1}$ bezeichnen wir mit M $_{r-1}(n,p)$.
• Für den Parameter(-vektor) $p=(p_1,\ldots,p_{r-1})\in[0,1]^{r-1}$ der Multinomialverteilung M $_{r-1}(n,p)$ gilt
  $$0\le p_r=1-\sum\limits _{i=1}^{r-1}p_i\le 1\,,$$
  d.h., die Wahrscheinlichkeit $p_r$ wird durch $p=(p_1,\ldots,p_{r-1})$ eindeutig bestimmt.
• Mit anderen Worten: $p_r$ ist keine unabhängig von $p$ wählbare Parameterkomponente.
• Man kann sich leicht überlegen, daß für $r=2$ die Multinomialverteilung M$_1(n,p_1)$ mit der Binomialverteilung Bin$(n,p_1)$ übereinstimmt.

Anstelle die ursprüngliche Fragestellung (90) zu untersuchen, testen wir nun

• die Hypothese $H_0: p=p_0$ (gegen die Alternative $H_1:p\not=p_0$) für einen vorgegebenen (hypothetischen) Vektor $p_0=(p_{0,1},\ldots,p_{0,r-1})\in(0,1)^{r-1}$ mit $\sum\limits _{i=1}^{r-1}p_{0,i}< 1$.
• Wir zerlegen also die Familie $\Delta$ der insgesamt in Betracht gezogenen Verteilungsfunktionen $F$ in die Teilmengen
  $$\Delta_0=\{F:\;F(b_j)-F(a_j)=p_{0,j}\;\forall j=1,\ldots,r-1\}$$   bzw.$$\qquad \Delta_1=\Delta\setminus\Delta_0\,.$$

• Wir betrachten die Testgröße $T_n:\mathbb{R}^n\to[0,\infty)$ mit

  $$T_n(x_1,\ldots,x_n)=\sum\limits _{j=1}^r\;\frac{\bigl(y_j(x_1,\ldots,x_n)-np_{0,j}\bigr)^2}{np_{0,j}}\;,$$ (93)

  
  
  wobei $y_j(x_1,\ldots,x_n)$ die Anzahl derjenigen Stichprobenwerte $x_1,\ldots,x_n$ bezeichnet, die im Intervall $a_j,b_j]$ liegen.
• Mit Hilfe von Lemma 5.30 kann man zeigen, daß

  $$\lim\limits _{n\to\infty}P_F\bigl(T_n(X_1,\ldots,X_n) >\chi^2_{r-1,1-\alpha}\bigr)=\alpha$$ (94)

  
  
  für jede Verteilungsfunktion $F$ der Stichprobenvariablen $X_i$ gilt, für die $p_{0,j}=F(b_j)-F(a_j)$ für jedes $j=1,\ldots,r$.
• Bei großem $n$ wird die Hypothese $H_0: p=p_0$ abgelehnt, falls

  $$T_n(x_1,\ldots,x_n)>\chi^2_{r-1,1-\alpha}\,.$$ (95)

  
  

Beachte

 

• Als der ,,Entdecker'' des Grenzwertsatzes (94) gilt der britische Statistiker Karl Pearson (1857-1936).
• Der asymptotische Test (95), der auf dem Grenzwertsatz (94) beruht, heißt $\chi ^2$-Anpassungstest.

Wie das folgende Beispiel zeigt, kann der $\chi ^2$-Anpassungstest zur Überprüfung der Güte von Zufallszahlengeneratoren bei der Monte-Carlo-Simulation verwendet werden.

Beispiel

$\;$ Test auf Gleichverteilung

• Wir nehmen an, daß die Daten $x_1,\ldots,x_n$ sogenannte Pseudozufallszahlen sind, die von einem Zufallszahlengenerator erzeugt worden sind.
• Dabei wollen wir prüfen, ob die Stichprobe $(x_1,\ldots,x_n)$ als Realisierung von Stichprobenvariablen $X_1,\ldots,X_n$ angesehen werden kann, die gleichverteilt im Intervall $(0,1]$ sind.
• Wir zerlegen das Intervall $(0,1]$ in $r$ gleichlange Teilintervalle $(0,1/r],\ldots,((r-1)/r,1]$ und
• betrachten den $(r-1)$-dimensionalen (hypothetischen) Vektor $p_0=(1/r,\ldots,1/r)$ bzw.
• die Testgröße $T_n:\mathbb{R}^n\to[0,\infty)$ mit
  $$T_n(x_1,\ldots,x_n)=\sum\limits _{j=1}^r\;\frac{(y_j(x_1,\ldots,x_n)-n/r)^2}{n/r}\;,$$
  wobei $y_j(x_1,\ldots,x_n)=\vert\{i:\, 1\le i\le n,\, j-1<rx_i\le j\}\vert$ die Anzahl derjenigen Pseudozufallszahlen $x_1,\ldots,x_n$ bezeichnet, die im Intervall $((j-1)/r,j/r]$ liegen.
• Bei großem $n$ wird die Hypothese $H_0: p=p_0$ abgelehnt, falls $T(x_1,\ldots,x_n)>\chi^2_{r-1,1-\alpha}$.

Für $\alpha=0.05$, $n=100\,000$ und $r=10$ wollen wir nun prüfen, ob

• die Hypothese der Gleichverteilung mit einer (konkreten) Stichprobe $(x_1,\ldots,x_{100\,000})$ von Pseudozufallszahlen vereinbar ist, für die sich der folgende Vektor der Klassenhäufigkeiten $(y_1,\ldots,y_{10})$ ergibt:
  

  
  
  

  $y_1$	$y_2$	$y_3$	$y_4$	$y_5$	$y_6$	$y_7$	$y_8$	$y_9$	$y_{10}$
  $9\,995$	$10\,045$	$10\,127$	$9\,816$	$10\,130$	$10\,040$	$9\,890$	$9\,858$	$10\,083$	$10\,016$

  
  
  

• In diesem Fall ist $T_{100\,000}(x_1,\ldots,x_{100\,000})=10.99$, und es gilt somit
  $$T_{100\,000}(x_1,\ldots,x_{100\,000})=10.99<\chi^2_{9,0.95}=16.92\,,$$
  wobei das Quantil $\chi^2_{9,0.95}=16.92$ aus Tabelle 2 entnommen wurde.
• Die Hypothese der Gleichverteilung wird also nicht verworfen.

Bei der Überprüfung der Güte von Zufallszahlengeneratoren sind nicht nur Tests auf Gleichverteilung von Interesse. Ein weiteres Gütekriterium besteht darin, ob die von einem Zufallszahlengenerator erzeugten Pseudozufallszahlen $x_1,x_2,\ldots$ als Realisierungen unabhängiger Zufallsvariablen $X_1,X_2,\ldots$ angesehen werden können.

Der folgende Test auf Unabhängigkeit führt erneut zur Konstruktion eines $\chi ^2$-Anpassungstests.

Beispiel

$\;$ Test auf Unabhängigkeit (Run-Test)

• Wir wollen nun prüfen, ob die Pseudozufallszahlen $x_1,x_2,\ldots$ als Realisierungen von unabhängigen Zufallsvariablen $X_1,X_2,\ldots$ angesehen werden können, die gleichverteilt im Intervall $(0,1]$ sind.
• Hierfür definieren wir die Zufallsvariablen $U_1,U_2,\ldots$ rekursiv durch

  $$U_{j+1}=\min\{i:\, i>U_j+1, X_i>X_{i+1}\}\,,$$ (96)

  
  
  wobei $U_1=\min\{i:\, i\ge 1, X_i>X_{i+1}\}$.
• Die Zufallsvariablen $V_1,V_2,\ldots$ mit

  $$V_1=U_1\,,\qquad V_{j+1}=U_{j+1}-U_j-1 \mbox{für $j=1,2,\ldots$}$$ (97)

  
  
  werden dann die Runs der Folge $X_1,X_2,\ldots$ genannt.
• Man kann zeigen, daß die in (97) eingeführten Zufallsvariablen $V_1,V_2,\ldots$ unabhängig und identisch verteilt sind mit

  $$P(V_j=k)=\frac{k}{(k+1)!}\,\qquad k=1,2,\ldots\,,$$ (98)

  
  
  falls die Zufallsvariablen $X_1,X_2,\ldots$ unabhängig und (identisch) gleichverteilt im Intervall $(0,1]$ sind.
• Es mögen nun hinreichend viele Pseudozufallszahlen $x_1,x_2\ldots$ erzeugt werden, so daß sich aus ihnen gemäß (96) und (97) die $n$ Runs $v_1,\ldots,v_n$ ergeben.
• Wir zerlegen die positive Halbachse in $r$ Intervalle $(a_1,b_1],\ldots,(a_r,b_r]$, so daß
• die Wahrscheinlichkeiten
  $$p_{0,j}=\sum\limits _{k\in\mathbb{N}\cap(a_j,b_j]}\frac{k}{(k+1)!}\,,\qquad j=1,\ldots,r$$
  annähernd gleich sind, und
• für diese Wahrscheinlichkeiten betrachten wir den $(r-1)$-dimensionalen (hypothetischen) Vektor $p_0=(p_{0,1},\ldots,p_{0,r-1})$ bzw.
• die Testgröße $T_n:\mathbb{R}^n\to[0,\infty)$ mit
  $$T_n(v_1,\ldots,v_n)=\sum\limits _{j=1}^r\;\frac{(y_j(v_1,\ldots,v_n)-np_{0,j})^2}{np_{0,j}}\;,$$
  wobei $y_j(v_1,\ldots,v_n)=\vert\{i:\, 1\le i\le n,\, j-1<rv_i\le j\}\vert$ die Anzahl derjenigen Runlängen $v_1,\ldots,v_n$ bezeichnet, die in der $j$-ten Klasse liegen.
• Bei großem $n$, was die Erzeugung entsprechend vieler Pseudozufallszahlen $x_1,x_2,\ldots$ erfordert, wird die Hypothese $H_0: p=p_0$ abgelehnt, falls $T(v_1,\ldots,v_n)>\chi^2_{r-1,1-\alpha}$.