Asymptotische Verteilung der Pearson-Fisher-Statistik

Das folgende Theorem ist die Grundlage des $\chi ^2$-Anpassungstests von Pearson-Fisher. Dabei setzen wir voraus, dass

• die in (61) betrachtete Likelihood-Funktion des vergröberten Modells den Regularitätsbedingungen von Abschnitt 5.3.2 genügt,
• die in (62) gegebene Fisher-Informationsmatrix $I({\boldsymbol{\theta}})$ positiv definit ist und dass
• $\{\widehat{\boldsymbol{\theta}}_n\}=\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n), n\ge 1\}$ eine schwach konsistente Folge von ML-Schätzern für ${\boldsymbol{\theta}}$ ist, die durch die Beobachtung des vergröberten Modells gewonnen werden.

Theorem 5.9    

• Sei $\widehat T_n(X_1,\ldots,X_n)$ die in $(\ref{test16})$ eingeführte Pearson-Fisher-Teststatistik, d.h.,

  $$\widehat T_n(X_1,\ldots,X_n)=\sum\limits _{j=1}^r\;\frac{\bigl(Z_... ...,X_n)-n\widehat p_j(X_1,\ldots,X_n)\bigr)^2}{n \widehat p_j(X_1,\ldots,X_n)} ,$$ (69)

  
  
  wobei $\widehat p_j(X_1,\ldots,X_n)= p_j\bigl(\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)\bigr)$.
• Dann gilt

  $$\lim\limits _{n\to\infty}\mathbb{P}_{\boldsymbol{\theta}}\bigl(\w... ...dots,X_n) >\chi^2_{r-1-m,1-\alpha}\bigr)=\alpha ,\qquad\forall \alpha\in(0,1)$$ (70)

  
  
  für jedes ${\boldsymbol{\theta}}\in\Theta$, wobei $\chi^2_{r-1-m,1-\alpha}$ das $(1-\alpha)$-Quantil der $\chi ^2$-Verteilung mit $r-1-m$ Freiheitsgraden bezeichnet.

Ein mathematisch strikter Beweis von Theorem 5.9 kann durch Reinterpretation des $\chi ^2$-Anpassungstests von Pearson-Fisher als Likelihood-Quotiententest geführt werden, vgl. beispielsweise Abschnitt 4.7 in H. Pruscha (2000) Vorlesungen über mathematische Statistik, Teubner-Verlag, Stuttgart.

Weil diese Beweistechnik jedoch relativ komplex ist, geben wir hier lediglich eine Herleitung von Theorem 5.9 an, die teilweise heuristisch ist.

• Und zwar sei ${\mathbf{p}}({\boldsymbol{\theta}})=(p_1({\boldsymbol{\theta}}),\ldots,p_r({\boldsymbol{\theta}}))^\top$ und $\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})=\bigl(\widetilde Z_{n1}({\boldsymbol{\theta}}),\ldots,\widetilde Z_{nr}({\boldsymbol{\theta}})\bigr)^\top$ mit

  $$\widetilde Z_{nj}({\boldsymbol{\theta}})= \frac{Z_j(X_1,\ldots,X_... ...symbol{\theta}})}{\sqrt{n p_j({\boldsymbol{\theta}})}}\;,\qquad j=1,\ldots,r .$$ (71)

  
  

• Weil ${\mathbb{E} }\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})={\mathbf{o}}$ und weil sich $\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})$ als Summe von $n$ unabhängigen und identisch verteilten Zufallsvektoren darstellen lässt, ergibt sich aus dem multivariaten zentralen Grenzwertsatz (genauso wie im Beweis von Theorem 5.5), dass

  $$\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})\stackrel{{\rm d}}... ...ta}}){\mathbf{K}}({\boldsymbol{\theta}}){\mathbf{B}}({\boldsymbol{\theta}})) ,$$ (72)

  
  
  wobei
  $${\mathbf{B}}({\boldsymbol{\theta}})=\left(\begin{array}{cccc} 1/\... ...ta}})(1-p_j({\boldsymbol{\theta}})) , & \mbox{wenn $i=j$.} \end{array}\right.$$
  • Für die Kovarianzmatrix ${\mathbf{B}}({\boldsymbol{\theta}}){\mathbf{K}}({\boldsymbol{\theta}}){\mathbf{B}}({\boldsymbol{\theta}})$ in (72) gilt somit

    $${\mathbf{B}}({\boldsymbol{\theta}}){\mathbf{K}}({\boldsymbol{\the... ...-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}}) , \;\; {\mathbf{q}}({\boldsymbol{\theta}})=\bigl(\sqrt{p_1({\boldsymbol{\theta}})},\ldots,\sqrt{p_r({\boldsymbol{\theta}})}\bigr)^\top .$$ (73)

    
    

  • Für die in (63) eingeführte Matrix ${\mathbf{C}}({\boldsymbol{\theta}})$ gilt wegen (68), dass ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{C}}({\boldsymbol{\theta}})={\mathbf{o}}$ und somit
    

    $${ \Bigl(\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C... ...symbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})\Bigr)^\top}$$

    $$= \Bigl(\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}... ...{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}$$

    $$= \bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1} .$$

    
    

  • Aus (72) und (73) ergibt sich nun, dass

    $$\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\bol... ...({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}\bigr) .$$ (74)

    
    

• Außerdem ergibt sich aus Korollar 5.1 durch Taylor-Reihenentwicklung, dass
  $$\sqrt{n}\;{\mathbf{B}}({\boldsymbol{\theta}})\bigl({\mathbf{p}}(\... ...ldsymbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})\bigr) .$$
  • Hieraus und aus (74) folgt, dass

    $$\sqrt{n}\;{\mathbf{B}}({\boldsymbol{\theta}})\bigl({\mathbf{p}}(\... ...C}}^\top({\boldsymbol{\theta}})\widetilde{\mathbf{Z}}({\boldsymbol{\theta}}) .$$ (75)

    
    

  • Andererseits ergibt sich aus (69) und (71), dass
    

    $$\widehat T_n(X_1,\ldots,X_n) = \sum\limits_{j=1}^r \bigl(\widetilde Z_{nj}(\widehat{\boldsymbol{\theta}}_n)\bigr)^2$$

    $$= \sum\limits_{j=1}^r\left(\widetilde Z_{nj}({\boldsymbol{\theta}})... ...(p_j(\widehat{\boldsymbol{\theta}}_n)-p_j({\boldsymbol{\theta}})\bigr)\right)^2$$

    $$= \sum\limits_{j=1}^r\left(\widetilde Z_{nj}({\boldsymbol{\theta}})... ...dehat{\boldsymbol{\theta}}_n)-p_j({\boldsymbol{\theta}})\bigr)+o(1)\right)^2 ,$$

    
    

  • wobei sich die letzte Gleichheit aus der Null-Konvergenz
    $$\widetilde Z_{nj}({\boldsymbol{\theta}})\Bigl(\sqrt{\frac{p_j({\b... ...}}-1\Bigr)\stackrel{{\rm P}}{\longrightarrow} 0 ,\qquad\forall j=1,\ldots,r$$
    ergibt, die aus $\widehat{\boldsymbol{\theta}}_n\stackrel{{\rm P}}{\longrightarrow}{\boldsymbol{\theta}}$ und dem Continuous-Mapping-Theorem für Zufallsvektoren (vgl. Lemma 4.5) folgt.
• Mit anderen Worten: Mit der Schreibweise $\varphi(z_1,\ldots,z_r)=\sum_{j=1}^r\;z_j^2$ gilt

  $$\widehat T_n(X_1,\ldots,X_n)= \varphi\Bigl(\widetilde{\mathbf{Z}}... ...boldsymbol{\theta}}_n)-{\mathbf{p}}({\boldsymbol{\theta}})\bigr) +o(1)\Bigr) .$$ (76)

  
  
  • Zusammen mit (72) und (75) suggeriert die asymptotische Näherungsformel (76) die Vermutung, dass für $n\to\infty$

    $$\widehat T_n(X_1,\ldots,X_n)\stackrel{{\rm d}}{\longrightarrow} \... ...oldsymbol{\theta}})\Bigr)\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\Bigr) .$$ (77)

    
    

  • Die Verteilungskonvergenz (77) ergibt sich jedoch nicht direkt aus (72), (75) und (76), sondern sie erfordert einen separaten Beweis, der hier weggelassen wird.
• Wir zeigen nun noch, dass

  $$\varphi\Bigl(\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\thet... ...\Bigr) \widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\Bigr)\sim\chi^2_{r-1-m} .$$ (78)

  
  

• In (72) und (73) hatten wir gezeigt, dass
  $$\widetilde {\mathbf{Z}}({\boldsymbol{\theta}})\sim {\rm N}\bigl(... ...{\boldsymbol{\theta}})},\ldots,\sqrt{p_r({\boldsymbol{\theta}})}\bigr)^\top$.}$$
  • Außerdem ergibt sich aus ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{q}}({\boldsymbol{\theta}})=1$, dass
    

    $$\Bigl({\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)^2 = {\mathbf{I}}_r-2{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\... ...mathbf{q}}({\boldsymbol{\theta}})}_{=1}{\mathbf{q}}^\top({\boldsymbol{\theta}})$$

    $$= {\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}}) ,$$

    
    

  • d.h., die Kovarianzmatrix
    $${\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\t... ...oldsymbol{\theta}})} &\ldots & 1-p_r({\boldsymbol{\theta}}) \end{array}\right)$$
    des Zufallsvektors $\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})$ ist symmetrisch und idempotent.
  • Hieraus und aus der ersten Teilaussage von Theorem 1.4 ergibt sich nun die Darstellungsformel

    $$\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\stackrel{{\rm d}}{=... ...}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr){\boldsymbol{\varepsilon }} ,$$ (79)

    
    
    wobei ${\boldsymbol{\varepsilon }}\sim {\rm N}({\mathbf{o}},{\mathbf{I}}_r)$.
• Außerdem ist auch die Matrix ${\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\mathbf{C}}^\top({\bo... ...f{C}}({\boldsymbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})$ symmetrisch und idempotent, und aus ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{C}}({\boldsymbol{\theta}})={\mathbf{o}}$ ergibt sich, dass
  $$\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\m... ...{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}}) .$$
  • Hieraus folgt, dass die Matrix ${\mathbf{R}}=\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\m... ...mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)$ ebenfalls symmetrisch und idempotent ist.
  • Aus (79) und aus Theorem 1.9 ergibt sich nun, dass
    $$\varphi\Bigl(\bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\thet... ...athbf{R}}{\boldsymbol{\varepsilon }}\sim\chi^2_{{ {\rm rg}}({\mathbf{R}})} .$$

  • Mit Hilfe von Lemma 1.3 ergibt sich für den Rang ${ {\rm rg}}({\mathbf{R}})$ der symmetrischen und idempotenten Matrix ${\mathbf{R}}$, dass
    

    $${ {\rm rg}}({\mathbf{R}}) = { {\rm sp}}({\mathbf{R}})$$

    $$= { {\rm sp}}({\mathbf{I}}_r)-{ {\rm sp}}\Bigl({\mathbf{C}}({\bol... ...mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)$$

    $$= { {\rm sp}}({\mathbf{I}}_r)-{ {\rm sp}}\Bigl(\bigl({\mathbf{C}}... ...mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{q}}({\boldsymbol{\theta}})\Bigr)$$

    $$= r-m-1 .$$

    
    

• Damit ist die Gültigkeit von (78) bewiesen.

Beachte

$\;$ Bei der praktischen Durchführung des $\chi ^2$-Anpassungstests von Pearson-Fisher kann ähnlich wie in Abschnitt 5.2.2 vorgegangen werden, um die Hypothese $H_0:\,P\in\{P_{\boldsymbol{\theta}},\,{\boldsymbol{\theta}}\in\Theta\}$ zu prüfen.

• Zunächst wird eine ML-Schätzung $\widehat{\boldsymbol{\theta}}(x_1,\ldots,x_n)=(\widehat\theta_1(x_1,\ldots,x_n), \ldots,\widehat\theta_m(x_1,\ldots,x_n))^\top$ für ${\boldsymbol{\theta}}=(\theta_1,\ldots,\theta_m)^\top$ durch Lösung des Gleichungssystems (66) bestimmt.
• Dann wird der Wert der in (53) definierten Testgröße $T_n(x_1,\ldots,x_n)$ berechnet.
• Bei hinreichend großem Stichprobenumfang $n$ wird $H_0:\,P\in\{P_{\boldsymbol{\theta}},\,{\boldsymbol{\theta}}\in\Theta\}$ abgelehnt, wenn
  $$T_n(x_1,\ldots,x_n)>\chi^2_{r-1-m,1-\alpha} ,$$

• wobei $\chi^2_{r-1-m,1-\alpha}$ das $(1-\alpha)$-Quantil der $\chi ^2$-Verteilung mit $(r-1-m)$-Freiheitsgraden bezeichnet.