Asymptotische Normalverteiltheit von ML-Schätzern; asymptotische Tests

• Der Begriff der Verteilungskonvergenz von Zufallsvektoren wird wie folgt definiert.
  • Sei $m\in\mathbb{N}$ eine beliebige natürliche Zahl, und seien ${\mathbf{Z}},{\mathbf{Z}}_1,{\mathbf{Z}}_2,\ldots:\Omega\to\mathbb{R}^m$ beliebige Zufallsvektoren. Man sagt, dass $\{{\mathbf{Z}}_n\}$ in Verteilung gegen ${\mathbf{Z}}$ konvergiert, wenn

    $$\lim\limits_{n\to\infty}\mathbb{P}({\mathbf{Z}}_n\le{\mathbf{x}})=\mathbb{P}({\mathbf{Z}}\le{\mathbf{x}})$$ (45)

    
    
    für jedes ${\mathbf{x}}\in\mathbb{R}^m$ mit $\mathbb{P}({\mathbf{Z}}={\mathbf{x}})=0$. Schreibweise: ${\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow}{\mathbf{Z}}$.
• Wir diskutieren nun asymptotische (Verteilungs-) Eigenschaften von Maximum-Likelihood-Schätzern $\widehat{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ bzw. asmyptotische Tests, wenn der Stichprobenumfang $n$ gegen unendlich geht.
  • Dabei betrachten wir lediglich den Fall der natürlichen Linkfunktion $g:G\to\mathbb{R}$
  • und indizieren die Zufallsstichprobe ${\mathbf{Y}}$, die Loglikelihood-Funktion $\log L({\mathbf{Y}},{\boldsymbol{\beta}})$, den Scorevektor ${\mathbf{U}}({\boldsymbol{\beta}})$, die Fisher-Informationsmatrix ${\mathbf{I}}({\boldsymbol{\beta}})$ bzw. den ML-Schätzer $\widehat{\boldsymbol{\beta}}$ jeweils mit $n$.

1. Asymptotische Verteilungseigenschaften

   Unter gewissen Bedingungen (vgl. Abschnitt VII.2.6 in Pruscha (2000)) kann man zeigen: Für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$ mit ${\mathbf{x}}_i^\top{\boldsymbol{\beta}}\in\Theta$ für $i=1,2,\ldots$ gibt es

   • einen konsistenten ML-Schätzer $\widehat{\boldsymbol{\beta}}_n$ für ${\boldsymbol {\beta }}$, d.h., für jedes $\varepsilon >0$ gilt

     $$\lim\limits_{n\to\infty}\mathbb{P}_{\boldsymbol{\beta}}\bigl(\ver... ...epsilon ,{\mathbf{U}}_n(\widehat{\boldsymbol{\beta}}_n)={\bf o}\bigr)\;=\; 1 ,$$ (46)

     
     

   • eine Folge $\{{\boldsymbol{\Gamma}}_n\}$ von invertierbaren $(m\times m)$-Matrizen, die von ${\boldsymbol {\beta }}$ abhängen können und für die $\lim_{n\to\infty}{\boldsymbol{\Gamma}}_n={\bf0}$ gilt,
   • sowie eine symmetrische und positiv definite $(m\times m)$-Matrix ${\mathbf{K}}({\boldsymbol{\beta}})$, so dass

     $$\lim\limits_{n\to\infty} {\boldsymbol{\Gamma}}_n^\top{\mathbf{I}}... ...dsymbol{\beta}}){\boldsymbol{\Gamma}}_n={\mathbf{K}}^{-1}({\boldsymbol{\beta}})$$ (47)

     
     
     und

     $${\boldsymbol{\Gamma}}_n^{-1}\bigl(\widehat{\boldsymbol{\beta}}_n-... ...}{\longrightarrow}{\rm N}\bigl({\bf o},{\mathbf{K}}({\boldsymbol{\beta}})\bigr) \qquad 2\bigl(\log L_n({\mathbf{Y}}_n,\widehat{\boldsymbol{\beta}... ...}}_n,{\boldsymbol{\beta}})\bigr)\stackrel{{\rm d}}{\longrightarrow}\chi^2_m .$$ (48)

     
     

   
   

2. Asymptotische Tests
   • Bei großem $n$ kann zur Konstruktion eines asymptotischen Tests für das Hypothesenpaar
     $$H_0:{\boldsymbol{\beta}}={\boldsymbol{\beta}}_0$$   vs.$$\qquad H_1:{\boldsymbol{\beta}}\not={\boldsymbol{\beta}}_0$$
     die Testgröße
     $$T_n=2\bigl(\log L_n({\mathbf{Y}}_n,\widehat{\boldsymbol{\beta}}_n)-\log L_n({\mathbf{Y}}_n,{\boldsymbol{\beta}}_0)\bigr)$$
     betrachtet werden. Wegen (48) wird dabei $H_0$ abgelehnt, wenn $T_n>\chi^2_{m,1-\alpha}$.
   • Von besonderem Interesse ist die Nullhypothese $H_0:{\boldsymbol{\beta}}={\bf o}$. Wenn diese abgelehnt wird, dann können speziellere Hypothesen getestet werden, zum Beispiel für jedes $i=1,\ldots,m$ die Hypothese $H_0:\beta_i=0$.

Beachte

 

• Wenn ${\mathbf{I}}_n({\boldsymbol{\beta}})$ positiv definit für jedes hinreichend große $n$ ist und wenn

  $$\lim\limits_{n\to\infty}{\mathbf{I}}_n^{-1}({\boldsymbol{\beta}})={\bf0} ,$$ (49)

  
  
  dann kann ${\boldsymbol{\Gamma}}_n={\mathbf{I}}^{-1/2}_n$ in (47) und (48) gesetzt werden, so dass ${\mathbf{K}}({\boldsymbol{\beta}})$ die Einheitsmatrix ist.
• In (37) hatten wir gezeigt, dass im logistischen Regressionsmodell ${\mathbf{I}}_n({\boldsymbol{\beta}})={\mathbf{X}}^\top{\rm diag}\bigl(\pi_i(1-\pi_i)\bigr){\mathbf{X}}$ gilt.
  • Weil wir voraussetzen, dass $0<\pi_i({\boldsymbol{\beta}})<1$ für jedes $i=1,2,\ldots$ und dass die Designmatrix ${\mathbf{X}}$ vollen Spaltenrang hat, ist die Matrix ${\mathbf{I}}_n({\boldsymbol{\beta}})$ in diesem Fall positiv definit.
  • Wenn außerdem $\inf_{i\ge 1}\pi_i(1-\pi_i)>0$ und wenn die Eintragungen $x_{ij}$ der Designmatrix ${\mathbf{X}}$ so gewählt werden, dass $\lim_{n\to\infty}\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^{-1}={\bf0}$, dann gilt auch (49).
• Sei nun ${\mathbf{K}}({\boldsymbol{\beta}})$ die Einheitsmatrix. Wegen (47) und (48) wird dann $H_0:\beta_i=0$ abgelehnt, wenn

  $$\frac{\bigl\vert\bigl(\widehat{\boldsymbol{\beta}}_n\bigr)_i\bigr... ...f{I}}^{-1}_n(\widehat{\boldsymbol{\beta}}_n)\bigr)_{ii}}}\;>\;z_{1-\alpha/2} ,$$ (50)

  
  
  wobei $z_{1-\alpha/2}$ das $(1-\alpha/2)$-Quantil der N$(0,1)$-Verteilung ist.