Erwartungswertvektor und Kovarianzmatrix des KQ-Schätzers $\overline {\boldsymbol {\beta }}$

Aus den Modellannahmen (3) über die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ und aus den allgemeinen Rechenregeln für den Erwartungswert bzw. die Kovarianz von reellwertigen Zufallsvariablen ergibt sich, dass Erwartungswertvektor und Kovarianzmatrix des KQ-Schätzers $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ die folgende Form haben.

Theorem 3.7   $\;$ Es gilt

$${\mathbb{E} }\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$ (39)

und

$${\rm Cov }\overline{\boldsymbol{\beta}}= \sigma^2({\mathbf{X}}^\... ...athbf{X}}^\top{\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top .$$ (40)

Beweis

 

• Aus ${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}$ und ${\mathbb{E} }{\boldsymbol{\varepsilon }}={\mathbf{o}}$ ergibt sich, dass
  $${\mathbb{E} } \overline{\boldsymbol{\beta}}={\mathbb{E} }\Bigl(... ...bf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}} .$$

• Außerdem gilt für beliebige $i,j\in\{1,\ldots,m\}$
  

  $${\rm Cov }\bigl(\overline\beta_i, \overline\beta_j\bigr) = {\rm Cov }\Bigl(\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\... ...}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{jr}Y_r\Bigr)$$

  $$= \sum\limits_{\ell=1}^n\sum\limits_{r=1}^n\bigl(({\mathbf{X}}^\top... ...f{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{jr}{\rm Cov }(Y_\ell, Y_r)$$

  $$= \sigma^2\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}... ..._{i\ell} \bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{j\ell}$$

  $$= \sigma^2\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}... ...l({\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{\ell j}$$

  $$= \sigma^2 \bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij} .$$

  
  
  
   
    $\Box$
  
  
  

Aus den Theoremen 3.5 und 3.7 ergibt sich mit Hilfe von Lemma 3.2, dass es keinen KQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist. Insbesondere ist der in (38) gegebene KQ-Schätzer $\overline {\boldsymbol {\beta }}$ für ${\boldsymbol {\beta }}$ nicht erwartungstreu.

Theorem 3.8   $\;$ Wenn ${ {\rm rg}}({\mathbf{X}})<m$, dann gibt es keinen erwartungstreuen KQ-Schätzer für ${\boldsymbol {\beta }}$.

Beweis

 

• Wegen ${ {\rm rg}}({\mathbf{X}})<m$ ergibt sich aus Lemma 3.2, dass auch ${ {\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})<m$ bzw.
  $${ {\rm rg}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}\bigr)<m .$$
  • Es gibt also ein ${\boldsymbol{\beta}}\not={\mathbf{o}}$ mit $({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{o}}$, d.h., die Gleichung

    $$({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\boldsymbol{\beta}}$$ (41)

    
    
    gilt nicht für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$.
  • Wegen (39) ist somit der in (38) gegebene KQ-Schätzer $\overline {\boldsymbol {\beta }}$ für ${\boldsymbol {\beta }}$ nicht erwartungstreu.
• Weil (41) nicht für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$ gilt, ergibt sich darüber hinaus, dass auch für jedes beliebige, jedoch fest vorgegebene ${\mathbf{z}}\in\mathbb{R}^m$ die Gleichung
  $$({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}({\boldsymbol{\beta}}-{\mathbf{z}}) ={\boldsymbol{\beta}}-{\mathbf{z}}$$
  bzw.
  $$({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\b... ...bf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}={\boldsymbol{\beta}}$$
  nicht für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$ gilt.
• Wegen Theorem 3.5 bedeutet dies, dass es keinen KQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist.
  
  $\Box$