Asymptotische Verteilung der Pearson-Fisher-Statistik

Das folgende Theorem ist die Grundlage des $\chi ^2$-Anpassungstests von Pearson-Fisher. Dabei setzen wir voraus, daß

• die in (30) betrachtete Likelihood-Funktion des ,,vergröberten'' Modells den Regularitätsbedingungen von Abschnitt 5.2.2 genügt,
• die in (31) gegebene Fisher-Informationsmatrix $I({\boldsymbol{\theta}})$ positiv definit ist, d.h. vollen Rang hat, und daß
• $\{\widehat{\boldsymbol{\theta}}_n\}=\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n),\, n\ge 1\}$ eine schwach konsistente Folge von ML-Schätzern für ${\boldsymbol{\theta}}$ ist, die durch die Beobachtung des ,,vergröberten'' Modells gewonnen werden.

Theorem 5.3   $\;$ Für die in $(\ref{test16})$ eingeführte Pearson-Fisher-Teststatistik $\widehat T_n(X_1,\ldots,X_n)$ gilt

$$\lim\limits _{n\to\infty}\mathbb{P}_{\boldsymbol{\theta}}\bigl(\w... ...dots,X_n) >\chi^2_{r-1-m,\gamma}\bigr)=1-\gamma\,,\qquad\forall\,\gamma\in(0,1)$$ (36)

für jedes ${\boldsymbol{\theta}}\in\Theta$, wobei $\chi^2_{r-1-m,\gamma}$ das $\gamma$-Quantil der $\chi ^2$-Verteilung mit $r-1-m$ Freiheitsgraden bezeichnet.

Beachte

 

• Ein mathematisch strikter Beweis von Theorem 5.3 kann durch Reinterpretation des $\chi ^2$-Anpassungstests von Pearson-Fisher als Likelihood-Quotiententest geführt werden, vgl. beispielsweise Abschnitt 4.7 in H. Pruscha (2000) Vorlesungen über mathematische Statistik, Teubner-Verlag, Stuttgart.
• Weil diese Beweistechnik relativ komplex ist, geben wir hier lediglich eine heuristische Begründung für die Gültigkeit von Theorem 5.3.

• Und zwar sei ${\mathbf{p}}({\boldsymbol{\theta}})=(p_1({\boldsymbol{\theta}}),\ldots,p_r({\boldsymbol{\theta}}))^\top$ und $\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})=\bigl(\widetilde Z_{n1}({\boldsymbol{\theta}}),\ldots,\widetilde Z_{nr}({\boldsymbol{\theta}})\bigr)^\top$ mit

  $$\widetilde Z_{nj}({\boldsymbol{\theta}})= \frac{Z_j(X_1,\ldots,X_... ...symbol{\theta}})}{\sqrt{n p_j({\boldsymbol{\theta}})}}\;,\qquad j=1,\ldots,r\,.$$ (37)

  
  

• Weil ${\mathbb{E}\,}\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})={\mathbf{o}}$ und weil sich $\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})$ als Summe von $n$ unabhängigen und identisch verteilten Zufallsvektoren darstellen läßt, ergibt sich aus dem multivariaten zentralen Grenzwertsatz (genauso wie im Beweis von Theorem 5.1), daß

  $$\widetilde{\mathbf{Z}}_n({\boldsymbol{\theta}})\stackrel{{\rm d}}... ...ta}}){\mathbf{K}}({\boldsymbol{\theta}}){\mathbf{B}}({\boldsymbol{\theta}}))\,,$$ (38)

  
  
  wobei
  $${\mathbf{B}}({\boldsymbol{\theta}})=\left(\begin{array}{cccc} 1/\... ...})(1-p_j({\boldsymbol{\theta}}))\,, & \mbox{falls $i=j$.} \end{array}\right.$$

• Für die Kovarianzmatrix ${\mathbf{B}}({\boldsymbol{\theta}}){\mathbf{K}}({\boldsymbol{\theta}}){\mathbf{B}}({\boldsymbol{\theta}})$ in (38) gilt somit

  $${\mathbf{B}}({\boldsymbol{\theta}}){\mathbf{K}}({\boldsymbol{\the... ...({\boldsymbol{\theta}})},\ldots,\sqrt{p_r({\boldsymbol{\theta}})}\bigr)^\top\,.$$ (39)

  
  

• Aus (38) und (39) ergibt sich nun, daß

  $$\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\bol... ...({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}\bigr)\,,$$ (40)

  
  
  weil ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{C}}({\boldsymbol{\theta}})={\mathbf{o}}$ und somit
  

  $${ \Bigl(\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C... ...symbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})\Bigr)^\top}$$

  $$= \Bigl(\bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}... ...{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}$$

  $$= \bigl({\mathbf{C}}^\top({\boldsymbol{\theta}}) {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}\,,$$

  
  
  wobei ${\mathbf{C}}({\boldsymbol{\theta}})$ die in $(\ref{def.matr.beh})$ gegebene Matrix ist.
• Außerdem ergibt sich aus Korollar 5.1 durch Taylor-Reihenentwicklung, daß
  $$\sqrt{n}\;{\mathbf{B}}({\boldsymbol{\theta}})\bigl({\mathbf{p}}(\... ...dsymbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})\bigr)\,.$$

• Hieraus und aus (40) folgt, daß

  $$\sqrt{n}\;{\mathbf{B}}({\boldsymbol{\theta}})\bigl({\mathbf{p}}(\... ...C}}^\top({\boldsymbol{\theta}})\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\,.$$ (41)

  
  

• Andererseits gilt für die in $(\ref{test16})$ eingeführte Pearson-Fisher-Teststatistik $\widehat T_n(X_1,\ldots,X_n)$, daß
  

  $$\widehat T_n(X_1,\ldots,X_n) = \sum\limits_{j=1}^r \bigl(\widetilde Z_{nj}(\widetilde{\boldsymbol{\theta}}_n)\bigr)^2$$

  $$= \sum\limits_{j=1}^r\left(Z_{nj}({\boldsymbol{\theta}}) +Z_{nj}({\... ..._j(\widetilde{\boldsymbol{\theta}}_n)-p_j({\boldsymbol{\theta}})\bigr)\right)^2$$

  $$= \sum\limits_{j=1}^r\left(Z_{nj}({\boldsymbol{\theta}}) -\frac{\sq... ...idetilde{\boldsymbol{\theta}}_n)-p_j({\boldsymbol{\theta}})\bigr)+o(1)\right)^2$$

  
  
  wobei sich die letzte Gleichheit aus der Null-Konvergenz
  $$Z_{nj}({\boldsymbol{\theta}})\Bigl(\sqrt{\frac{p_j({\boldsymbol{\... ...}-1\Bigr)\stackrel{{\rm P}}{\longrightarrow} 0\,,\qquad\forall\, j=1,\ldots,r$$
  ergibt, die aus $\widetilde{\boldsymbol{\theta}}_n\stackrel{{\rm P}}{\longrightarrow}{\boldsymbol{\theta}}$ und dem Continuous Mapping Theorem folgt.
• Mit anderen Worten: Es gilt

  $$\widehat T_n(X_1,\ldots,X_n)= \varphi\Bigl(\widetilde{\mathbf{Z}}... ...boldsymbol{\theta}}_n)-{\mathbf{p}}({\boldsymbol{\theta}})\bigr) +o(1)\Bigr)\,,$$ (42)

  
  
  wobei $\varphi(z_1,\ldots,z_r)=\sum_{j=1}^r\;z_j^2$.

Beachte

 

• Zusammen mit (38) und (41) suggeriert die asymptotische Näherungsformel (42) die Vermutung, daß für $n\to\infty$

  $$\widehat T_n(X_1,\ldots,X_n)\stackrel{{\rm d}}{\longrightarrow} \... ...oldsymbol{\theta}})\Bigr)\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\Bigr)\,.$$ (43)

  
  

• Die Verteilungskonvergenz (43) ergibt sich jedoch nicht direkt aus (38), (41) und (42), sondern sie erfordert einen separaten Beweis, der hier weggelassen wird.

• Wir zeigen nun noch, daß

  $$\varphi\Bigl(\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\thet... ...)\Bigr)\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\Bigr)\sim\chi^2_{r-1-m}\,.$$ (44)

  
  

• In (38) und (39) hatten wir gezeigt, daß
  $${\mathbf{Z}}({\boldsymbol{\theta}})\sim\,{\rm N}\bigl({\mathbf{o}... ...\boldsymbol{\theta}})},\ldots,\sqrt{p_r({\boldsymbol{\theta}})}\bigr)^\top$.}$$

• Aus ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{q}}({\boldsymbol{\theta}})=1$ ergibt sich, daß
  

  $$\Bigl({\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)^2 = {\mathbf{I}}_r-2{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\... ...mathbf{q}}({\boldsymbol{\theta}})}_{=1}{\mathbf{q}}^\top({\boldsymbol{\theta}})$$

  $$= {\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\,,$$

  
  
  d.h., die Kovarianzmatrix
  $${\mathbf{I}}_r-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\t... ...dsymbol{\theta}})} &\ldots & 1-p_r({\boldsymbol{\theta}}) \end{array}\right)$$
  des Zufallsvektors ${\mathbf{Z}}({\boldsymbol{\theta}})$ ist symmetrisch und idempotent.
• Hieraus und aus Theorem 3.9 ergibt sich nun die Darstellungsformel

  $$\widetilde{\mathbf{Z}}({\boldsymbol{\theta}})\stackrel{{\rm d}}{=... ...}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr){\boldsymbol{\varepsilon }}\,,$$ (45)

  
  
  wobei ${\boldsymbol{\varepsilon }}\sim\,{\rm N}({\mathbf{o}},{\mathbf{I}}_r)$.
• Außerdem ist auch die Matrix ${\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\mathbf{C}}^\top({\bo... ...f{C}}({\boldsymbol{\theta}})\bigr)^{-1}{\mathbf{C}}^\top({\boldsymbol{\theta}})$ symmetrisch und idempotent, und aus ${\mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{C}}({\boldsymbol{\theta}})={\mathbf{o}}$ ergibt sich, daß

  $$\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\m... ...-{\mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\,.$$ (46)

  
  

• Hieraus folgt, daß die Matrix ${\mathbf{R}}=\Bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\theta}})\bigl({\m... ...mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)$ ebenfalls symmetrisch und idempotent ist.
• Aus (45) und aus Theorem 3.15 ergibt sich nun, daß
  $$\varphi\Bigl(\bigl({\mathbf{I}}_r-{\mathbf{C}}({\boldsymbol{\thet... ...thbf{R}}{\boldsymbol{\varepsilon }}\sim\chi^2_{{\,{\rm rg}}({\mathbf{R}})}\,.$$

• Wegen (46) ergibt sich für den Rang ${\,{\rm rg}}({\mathbf{R}})$ der symmetrischen und idempotenten Matrix ${\mathbf{R}}$, daß
  

  $${\,{\rm rg}}({\mathbf{R}}) = {\,{\rm sp}}({\mathbf{R}})$$

  $$= {\,{\rm sp}}({\mathbf{I}}_r)-{\,{\rm sp}}\Bigl({\mathbf{C}}({\bol... ...mathbf{q}}({\boldsymbol{\theta}}){\mathbf{q}}^\top({\boldsymbol{\theta}})\Bigr)$$

  $$= {\,{\rm sp}}({\mathbf{I}}_r)-{\,{\rm sp}}\Bigl(\bigl({\mathbf{C}}... ...mathbf{q}}^\top({\boldsymbol{\theta}}){\mathbf{q}}({\boldsymbol{\theta}})\Bigr)$$

  $$= r-m-1\,.$$

  
  

• Damit ist die Gültigkeit von (44) bewiesen.