Asymptotische Normalverteiltheit des KQ-Schätzers

Durch die Gestalt der asymptotischen Kovarianzmatrix ${\mathbf{K}}$ in Theorem 4.3 wird der folgende Ansatz zur Schätzung des Parametervektors ${\boldsymbol {\beta }}$ motiviert.

• Ähnlich wie in Abschnitt 2.1 betrachten wir hierfür die Methode der kleinsten Quadrate zur Bestimmung eines Schätzers $\widehat{\boldsymbol{\beta}}$ für die unbekannten Regressionskoeffizienten $\beta_1,\ldots,\beta_m$.
• Und zwar soll ein Zufallsvektor $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)^\top$ bestimmt werden, so dass der gewichtete quadratische Fehler

  $$e({\boldsymbol{\beta}})=\sum\limits_{i=1}^n\frac{\bigl(g(\widehat\pi_i) -{\mathbf{x}}_i^\top{\boldsymbol{\beta}}\bigr)^2}{\widehat\sigma^2_{ii}}$$ (59)

  
  
  für ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$ minimal wird, wobei $\widehat\sigma^2_{ii}= \bigl(\sum\nolimits_{j=1}^n n_j/n_i\bigr)(g^{(1)}(\widehat\pi_i))^2\widehat\pi_i(1-\widehat\pi_i)$ und vorausgesetzt wird, dass die Gewichte $\widehat\sigma^2_{ii}$ positiv sind.

Beachte

 

• Die gewichtete Summe $e({\boldsymbol{\beta}})$ der quadrierten Residuen $\bigl(g(\widehat\pi_i) -{\mathbf{x}}_i^\top{\boldsymbol{\beta}}\bigr)^2$ in (59) kann wie folgt dargestellt werden: Mit der Schreibweise $\widehat{\mathbf{K}}={\rm diag}\bigl(\widehat\sigma^2_{ii}\bigr)$ gilt

  $$e({\boldsymbol{\beta}})= \bigl({\mathbf{g}}(\widehat{\boldsymbol{... ...athbf{g}}(\widehat{\boldsymbol{\pi}})-{\mathbf{X}}{\boldsymbol{\beta}}\bigr) .$$ (60)

  
  

• Genauso wie im Beweis von Theorem 2.1 lässt sich zeigen, dass der gewichtete quadratische Fehler $e({\boldsymbol{\beta}})$ genau dann minimal ist, wenn ${\boldsymbol {\beta }}$ Lösung der folgenden Normalengleichung ist:

  $${\mathbf{X}}^\top\widehat{\mathbf{K}}^{-1}{\mathbf{X}}{\boldsymbo... ...f{X}}^\top\widehat{\mathbf{K}}^{-1} {\mathbf{g}}(\widehat{\boldsymbol{\pi}}) .$$ (61)

  
  

• Weil die Matrix ${\mathbf{X}}^\top\widehat{\mathbf{K}}^{-1}{\mathbf{X}}$ invertierbar ist, hat $(\ref{norm.gle.gew})$ die eindeutig bestimmte Lösung

  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top\widehat{\mathbf{K... ...f{X}}^\top \widehat{\mathbf{K}}^{-1}{\mathbf{g}}(\widehat{\boldsymbol{\pi}}) .$$ (62)

  
  

Wir zeigen nun, dass der gewichtete KQ-Schätzer $\widehat{\boldsymbol{\beta}}$ in (62) asymptotisch normalverteilt ist, wenn die (Teil-) Stichprobenumfänge $n_i$ für jedes $i=1,\ldots,n$ unbegrenzt wachsen.

Hierfür benötigen wir die folgenden vektoriellen Versionen des Satzes von Slutsky (vgl. die Theoreme WR-5.9 und WR-5.11) sowie des ,,Continuous Mapping Theorems'' (vgl. Theorem WR-5.12).

Lemma 4.4    

• Sei $m\in\mathbb{N}$, seien ${\mathbf{Y}},{\mathbf{Y}}_n,{\mathbf{Z}}_n:\Omega\to\mathbb{R}^m$ beliebige Zufallsvektoren über einunddemselben Wahrscheinlichkeitsraum, und sei $c\in\mathbb{R}^m$.
• Wenn ${\mathbf{Y}}_n\stackrel{{\rm d}}{\longrightarrow}{\mathbf{Y}}$ und ${\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow}c$, dann gilt ${\mathbf{Y}}_n+{\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow}{\mathbf{Y}}+c$ und ${\mathbf{Y}}_n^\top{\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow} c^\top{\mathbf{Y}}$.

Lemma 4.5    

• Sei $m\in\mathbb{N}$, seien ${\mathbf{Z}},{\mathbf{Z}}_1,{\mathbf{Z}}_2,\ldots:\Omega\to\mathbb{R}^m$ beliebige Zufallsvektoren, und sei $\varphi:\mathbb{R}^m\to\mathbb{R}$ eine stetige Funktion.
• Dann gilt $\varphi({\mathbf{Z}}_n)\stackrel{{\rm d}}{\longrightarrow}\varphi({\mathbf{Z}})$, wenn ${\mathbf{Z}}_n\stackrel{{\rm d}}{\longrightarrow}{\mathbf{Z}}$.

Die Beweise der Lemmas 4.4 und 4.5 verlaufen ähnlich wie die Beweise der Theoreme WR-5.9, WR-5.11 bzw. WR-5.12. Sie werden deshalb hier weggelassen.

Theorem 4.4   $\;$ Wenn $n_i\to\infty$ für jedes $i=1,\ldots,n$, so dass

$$\frac{\sum_{j=1}^n n_j}{n_i}\to\lambda_i\in[1,\infty)\qquad\forall \;i=1,\ldots,n ,$$ (63)

dann gilt

$$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2}\bigl(\widehat{\boldsy... ...\bf o},\bigl({\mathbf{X}}^\top{\mathbf{K}}^{-1}{\mathbf{X}}\bigr)^{-1}\bigr) ,$$ (64)

wobei ${\mathbf{K}}= {\rm diag} ( \alpha_i)$ die in Theorem  $\ref{asy.eig.pih}$ betrachtete Diagonalmatrix ist.

Beweis

 

• Aus der Definitionsgleichung von $\widehat{\boldsymbol{\beta}}$ in (62) ergibt sich, dass
  

  $$\widehat{\boldsymbol{\beta}}-{\boldsymbol{\beta}} = ({\mathbf{X}}^\top\widehat{\mathbf{K}}^{-1}{\mathbf{X}})^{-1}{\ma... ...{\mathbf{g}}(\widehat{\boldsymbol{\pi}})-{\mathbf{X}}{\boldsymbol{\beta}}\bigr)$$

  $$= ({\mathbf{X}}^\top\widehat{\mathbf{K}}^{-1}{\mathbf{X}})^{-1}{\ma... ...athbf{g}}(\widehat{\boldsymbol{\pi}})-{\mathbf{g}}({\boldsymbol{\pi}})\bigr) ,$$

  
  
  wobei in der letzten Gleichheit verwendet wurde, dass ${\mathbf{g}}({\boldsymbol{\pi}})={\mathbf{X}}{\boldsymbol{\beta}}$; vgl. (51).
• In Theorem 4.3 hatten wir gezeigt, dass
  $$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2}\bigl({\mathbf{g}}(\wi... ...pi}})\bigr) \stackrel{{\rm d}}{\longrightarrow}{\rm N}({\bf o},{\mathbf{K}}) ,$$
  wobei die asymptotische Kovarianzmatrix ${\mathbf{K}}$ in (57) gegeben ist.
• Außerdem gilt $\widehat{\mathbf{K}}\stackrel{{\rm P}}{\longrightarrow}{\mathbf{K}}$, wenn $n_i\to\infty$ für jedes $i=1,\ldots,n$.
• Insgesamt ergibt sich hieraus mit Hilfe
  • des Satzes von Slutsky (vgl. Lemma 4.4),
  • des ,,Continuous Mapping Theorems'' (vgl. Lemma 4.5) sowie
  • des Theorems 1.3 über die Lineartransformation normalverteilter Zufallsvektoren,
  dass
  

  $$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2}\bigl(\widehat{\boldsymbol{\beta}}-{\boldsymbol{\beta}}\bigr) = \Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2} ({\mathbf{X}}^\top\wi... ...{\mathbf{g}}(\widehat{\boldsymbol{\pi}})-{\mathbf{g}}({\boldsymbol{\pi}})\bigr)$$

  $$= \Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2} \underbrace{({\mathbf... ...athbf{K}}^{-1}\bigr)^{-1}}_{\stackrel{{\rm P}}{\longrightarrow}\; {\mathbf{I}}}$$

  $$\hspace{3cm}\times\; ({\mathbf{X}}^\top{\mathbf{K}}^{-1}{\mathbf{... ...{\mathbf{g}}(\widehat{\boldsymbol{\pi}})-{\mathbf{g}}({\boldsymbol{\pi}})\bigr)$$

  $$\stackrel{{\rm d}}{\longrightarrow} {\rm N}\bigl({\bf o},\bigl(({\mathbf{X}}^\top{\mathbf{K}}^{-1}{\m... ...{K}}^{-1}{\mathbf{X}})^{-1}{\mathbf{X}}^\top {\mathbf{K}}^{-1}\bigr)^\top\bigr)$$

  $$=\; {\rm N}\bigl({\bf o},\bigl({\mathbf{X}}^\top{\mathbf{K}}^{-1}{\mathbf{X}}\bigr)^{-1}\bigr) .$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Wenn $n_1+\ldots+n_n$ eine große Zahl ist, dann kann zur Konstruktion eines asymptotischen Tests für das Hypothesenpaar $H_0:\beta_i=0$ vs. $H_1:\beta\not=0$ die Testgröße
  $$T=\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2}\widehat\beta_i\Big/ \sqrt{\widetilde k_{ii}}$$
  betrachtet werden, wobei $\widetilde k_{ii}$ das $i$-te Diagonalelement der Matrix $\widetilde{\mathbf{K}}= \bigl({\mathbf{X}}^\top\widehat{\mathbf{K}}^{-1}{\mathbf{X}}\bigr)^{-1}$ ist.
• Wegen Theorem 4.4 wird dabei $H_0$ abgelehnt, wenn $\vert T\vert>z_{1-\alpha/2}$.