Güteeigenschaften des KQ-Schätzers $\widehat{\boldsymbol{\beta}}$

Wir setzen von jetzt an in Abschnitt 2.1 stets voraus, dass die Designmatrix ${\mathbf{X}}$ vollen (Spalten-) Rang hat und leiten drei verschiedene Güteeigenschaften des in (10) gegebenen KQ-Schätzers $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)^\top$ her.

Theorem 2.2   $\;$ Der Schätzer $\widehat{\boldsymbol{\beta}}$ ist erwartungstreu für ${\boldsymbol {\beta }}$, d.h., es gilt ${\mathbb{E} }\widehat{\boldsymbol{\beta}}={\boldsymbol{\beta}}$ für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$.

Beweis

$\;$ Wegen ${\mathbb{E} }{\boldsymbol{\varepsilon }}={\mathbf{o}}$ ergibt sich aus (6) und (10), dass

$${\mathbb{E} }\widehat{\boldsymbol{\beta}} \stackrel{(\ref{wid.hat.bet})}{=} {\mathbb{E}\,}\bigl(({\mathbf{X}}^\t... ...bf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\boldsymbol{\varepsilon }}\bigr)$$

$$= {\boldsymbol{\beta}}+({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbb{E} }{\boldsymbol{\varepsilon }}\;=\; {\boldsymbol{\beta}} .$$

 
  $\Box$

Der KQ-Schätzer $\widehat{\boldsymbol{\beta}}$ besitzt außerdem die folgende Eigenschaft der Varianzminimalität. Dabei bezeichne $\mathcal{L}$ die Familie aller erwartungstreuen linearen Schätzer $\widetilde{\boldsymbol{\beta}}={\mathbf{A}}{\mathbf{Y}}+{\mathbf{a}}$ für ${\boldsymbol {\beta }}$, wobei ${\mathbf{A}}$ eine $(m\times n)$-dimensionale Matrix ist und ${\mathbf{a}}=(a_1,\ldots,a_m)^\top\in\mathbb{R}^m$.

Theorem 2.3   $\;$ Für jedes $\widetilde{\boldsymbol{\beta}}=(\widetilde\beta_1,\ldots,\widetilde\beta_m)\in\mathcal{L}$ gilt

$${\rm Var }\widehat\beta_i\le {\rm Var }\widetilde\beta_i ,\qquad\forall i=1,\ldots,m ,$$ (14)

wobei die Gleichheit in $(\ref{var.til.hat})$ genau dann für jedes $i=1,\ldots,m$ gilt, wenn $\widetilde{\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$.

Beweis

 

• Weil vorausgesetzt wird, dass der lineare Schätzer $\widetilde{\boldsymbol{\beta}}={\mathbf{A}}{\mathbf{Y}}+{\mathbf{a}}$ erwartungstreu für ${\boldsymbol {\beta }}$ ist, gilt
  $${\boldsymbol{\beta}}\;=\; {\mathbb{E... ...}}+{\mathbf{a}}\;=\; {\mathbf{A}}{\mathbf{X}}{\boldsymbol{\beta}}+{\mathbf{a}}$$
  für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$, wobei sich die letzte Gleichheit aus ${\mathbb{E} }{\boldsymbol{\varepsilon }}={\bf o}$ ergibt.
• Hieraus folgt, dass

  $${\mathbf{A}}{\mathbf{X}}={\mathbf{I}} \qquad {\mathbf{a}}={\mathbf{o}} .$$ (15)

  
  

• Somit gilt
  $$\widetilde{\boldsymbol{\beta}}\;=\; {\mathbf{A}}{\mathbf{Y}}\; =\... ...psilon }}\;=\; {\boldsymbol{\beta}}+{\mathbf{A}}{\boldsymbol{\varepsilon }} ,$$
  d.h., jeder lineare erwartungstreue Schätzer $\widetilde{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ hat die Form

  $$\widetilde{\boldsymbol{\beta}}={\boldsymbol{\beta}}+{\mathbf{A}}{\boldsymbol{\varepsilon }} .$$ (16)

  
  

• Für die Kovarianzmatrix ${\rm Cov }(\widetilde{\boldsymbol{\beta}})$ des Zufallsvektors $\widetilde{\boldsymbol{\beta}}$ gilt also
  $${\rm Cov }(\widetilde{\boldsymbol{\beta}}) \;=\; {\mathbb{E} }\... ...psilon }}^\top){\mathbf{A}}^\top\;=\; \sigma^2{\mathbf{A}}{\mathbf{A}}^\top ,$$
  d.h.

  $${\rm Cov }(\widetilde{\boldsymbol{\beta}})=\sigma^2{\mathbf{A}}{\mathbf{A}}^\top .$$ (17)

  
  

• Außerdem ergibt sich aus (17) ergibt sich mit ${\mathbf{A}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$, dass die Kovarianzmatrix ${\rm Cov }(\widehat{\boldsymbol{\beta}})$ des KQ-Schätzers $\widehat{\boldsymbol{\beta}}$ gegeben ist durch

  $${\rm Cov }(\widehat{\boldsymbol{\beta}})=\sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1} ,$$ (18)

  
  
  denn es gilt
  

  $${\rm Cov }(\widehat{\boldsymbol{\beta}}) = \sigma^2\bigl(({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr) \bigl(({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr)^\top$$

  $$= \sigma^2 ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}$$

  $$= \sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1} .$$

  
  

• Um die Gültigkeit von (14) zu beweisen, ist somit zu zeigen, dass

  $$\bigl(({\mathbf{X}}^\top{\mathbf{X}})^{-1}\bigr)_{ii}\le \bigl({\mathbf{A}}{\mathbf{A}}^\top\bigr)_{ii} ,\qquad\forall i=1,\ldots,m .$$ (19)

  
  

• Mit ${\mathbf{D}}={\mathbf{A}}-({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$ gilt
  

  $${\mathbf{A}}{\mathbf{A}}^\top = \bigl({\mathbf{D}}+({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X... ...l({\mathbf{D}}+({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr)^\top$$

  $$= {\mathbf{D}}{\mathbf{D}}^\top+({\mathbf{X}}^\top{\mathbf{X}})^{-1... ...f{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1} +({\mathbf{X}}^\top{\mathbf{X}})^{-1}$$

  $$= {\mathbf{D}}{\mathbf{D}}^\top +({\mathbf{X}}^\top{\mathbf{X}})^{-1} ,$$

  
  
  denn wegen (15) gilt
  $${\mathbf{D}}{\mathbf{X}}=\bigl({\mathbf{A}}-({\mathbf{X}}^\top{\m... ...X}} ={\mathbf{A}}{\mathbf{X}}-{\mathbf{I}}={\mathbf{I}}-{\mathbf{I}}={\bf0} ,$$
  wobei ${\bf0}$ die Nullmatrix bezeichnet.
• Weil mit ${\mathbf{D}}=(d_{ij})$ die Ungleichung $\bigl({\mathbf{D}}{\mathbf{D}}^\top\bigr)_{ii} =\sum_{j=1}^m d_{ij}^2\ge 0$ gilt, ergibt sich hieraus die Gültigkeit von (19).
• Außerdem wird klar, dass die Gleichheit in (19) für jedes $i=1,\ldots,m$ genau dann gilt, wenn ${\mathbf{D}}={\bf0}$, d.h. ${\mathbf{A}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$.
  
  $\Box$

Beachte

 

• Aus den Theoremen 2.1 und 2.2 folgt, dass $\widehat{\boldsymbol{\beta}}\in\mathcal{L}$. Aus Theorem 2.3 ergibt sich außerdem, dass $\widehat{\boldsymbol{\beta}}$ im Sinne von (14) bester erwartungstreuer linearer Schätzer für ${\boldsymbol {\beta }}$ ist.
• Wir leiten nun noch eine hinreichende Bedingung dafür her, dass $\widehat{\boldsymbol{\beta}}$ ein schwach konsistenter Schätzer für ${\boldsymbol {\beta }}$ ist, wobei der Stichprobenumfang $n$, d.h. die Anzahl der Zeilen der Designmatrix ${\mathbf{X}}={\mathbf{X}}_n$ gegen $\infty$ strebt.
• Zur Erinnerung: Ein Schätzer $\widetilde{\boldsymbol{\beta}}_n=\widetilde{\boldsymbol{\beta}}(Y_1,\ldots,Y_n)$ für ${\boldsymbol {\beta }}$ heißt schwach konsistent, wenn
  $$\lim\limits_{n\to\infty}\mathbb{P}_{{\boldsymbol{\beta}}} (\vert\... ... )=0 ,\qquad\forall \varepsilon >0, {\boldsymbol{\beta}}\in\mathbb{R}^m .$$

• Unter ähnlichen Bedingungen kann man auch zeigen, dass $\widehat{\boldsymbol{\beta}}_n$ asymptotisch normalverteilt ist, wenn $n\to\infty$ (vgl. Abschnitt III.3.2 in Pruscha (2000)).

Theorem 2.4   Sei $f:\mathbb{N}\to\mathbb{R}\setminus\{0\}$ eine Funktion mit $\lim_{n\to\infty} f(n)=0$, so dass der Grenzwert

$${\mathbf{Q}}=\lim\limits_{n\to\infty} \bigl(f(n){\mathbf{X}}_n^\top{\mathbf{X}}_n\bigr)$$ (20)

existiert und die $m\times m$ Matrix ${\mathbf{Q}}$ invertierbar ist. Dann ist $\widehat{\boldsymbol{\beta}}_n$ ein schwach konsistenter Schätzer für ${\boldsymbol {\beta }}$.

Beweis

 

• Weil $\widehat{\boldsymbol{\beta}}_n$ erwartungstreu ist (vgl. Theorem 2.2), gilt für jedes $n\ge m$
  

  $$\mathbb{P}_{{\boldsymbol{\beta}}} (\vert\widehat{\boldsymbol{\beta}}_n-{\boldsymbol{\beta}}\vert>\varepsilon ) = \mathbb{P}_{{\boldsymbol{\beta}}} (\vert\widehat{\boldsymbol{\bet... ...um\limits_{i=1}^m \bigl(\widehat\beta_{in}-\beta_i\bigr)^2>\varepsilon ^2\Bigr)$$

  $$\le \mathbb{P}_{{\boldsymbol{\beta}}} \Bigl(\bigcup\limits_{i=1}^m \b... ...} \Bigl(\bigl(\widehat\beta_{in}-\beta_i\bigr)^2>\frac{\varepsilon ^2}{m}\Bigr)$$

  $$\le \frac{m}{\varepsilon ^2}\sum\limits_{i=1}^m{\rm Var }\widehat\beta_{in} ,$$

  
  
  wobei sich die letzte Abschätzung aus der Tschebyschev-Ungleichung ergibt (vgl. Theorem WR-4.18).
• Es genügt somit zu zeigen, dass

  $$\lim\limits_{n\to\infty}{\rm Var }\widehat\beta_{in}=0 ,\qquad\forall i=1,\ldots,m .$$ (21)

  
  

• Die Matrix ${\mathbf{Q}}^{-1}$ ist wohldefiniert, weil vorausgesetzt wird, dass die (Grenz-) Matrix ${\mathbf{Q}}$ invertierbar ist. Außerdem ergibt sich aus (20), dass
  $${\mathbf{Q}}^{-1}=\lim\limits_{n\to\infty} \bigl(f(n){\mathbf{X}}_n^\top{\mathbf{X}}_n\bigr)^{-1} .$$

• Aus der in (18) hergeleiteten Formel für die Kovarianzmatrix des Zufallsvektors $\widehat\beta_{n}$ ergibt sich nun, dass
  $$\lim\limits_{n\to\infty}{\rm Cov }(\widehat\beta_{n})= \sigma^2\... ...\Bigl(\sigma^2\lim\limits_{n\to\infty} f(n)\Bigr){\mathbf{Q}}^{-1} ={\bf0} .$$

• Hieraus ergibt sich insbesondere die Gültigkeit von (21).
  
  $\Box$