Erwartungstreue Schätzung der Varianz $\sigma ^2$ der Störgrößen

• Neben den in (3) formulierten Bedingungen an die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ gelte nun $n>m$, wobei wir erneut voraussetzen, daß die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. ${\,{\rm rg}}({\mathbf{X}})=m$.
• In Verallgemeinerung des Ansatzes (2.26), den wir in Abschnitt 2.1.3 bei der Schätzung von $\sigma ^2$ im einfachen linearen Regressionsmodell betrachtet haben, setzen wir nun

  $$S^2=\frac{1}{n-m}\;({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})\,.$$ (28)

  
  

• Wir zeigen, daß durch (28) ein erwartungstreuer Schätzer für $\sigma ^2$ im multiplen linearen Regressionsmodell gegeben ist.
• Hierbei sind die folgenden Hilfssätze nützlich.

Lemma 3.6   Die $n\times n$ Matrix

$${\mathbf{G}}={\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$ (29)

ist idempotent und symmetrisch, d.h., es gilt

$${\mathbf{G}}={\mathbf{G}}^2 \qquad {\mathbf{G}}={\mathbf{G}}^\top\,.$$ (30)

Beweis

 

• Die erste Teilaussage in (30) ergibt sich unmittelbar aus der Definition von ${\mathbf{G}}$ und den Rechenregeln für transponierte Matrizen, denn es gilt
  

  $${\mathbf{G}}^\top = \Bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)^\top$$

  $$= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$

  $$= {\mathbf{G}}\,.$$

  
  

• Außerdem gilt
  

  $${\mathbf{G}}^2 = \Bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-... ...hbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\m... ...thbf{X}}^\top {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$

  $$= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top ={\mathbf{G}}\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Aus dem Beweis von Theorem 3.2 ergibt sich, daß die in (29) eingeführte Matrix ${\mathbf{G}}$ die Orthogonalprojektion von $\mathbb{R}^n$ auf den $(n-m)$-dimensionalen linearen Unterraum $\mathcal{L}_{\mathbf{X}}^\top$ ist.
• Die Behauptung von Lemma 3.6 ergibt sich somit auch direkt aus Lemma 3.5.
• Wir bestimmen nun noch die Spur der Projektionsmatrix ${\mathbf{G}}$, wobei die Spur ${\,{\rm sp}}({\mathbf{A}})$ einer quadratischen $n\times n$ Matrix ${\mathbf{A}}=(a_{ij})$ definiert ist durch ${\,{\rm sp}}({\mathbf{A}})=\sum_{i=1}^n a_{ii}$.

Lemma 3.7   Für die in $(\ref{def.mat.em})$ gegebene $n\times n$ Matrix ${\mathbf{G}}$ gilt ${\,{\rm sp}}({\mathbf{G}})=n-m$.

Beweis

 

• Man kann sich leicht überlegen, daß
  • ${\,{\rm sp}}({\mathbf{A}}-{\mathbf{B}})={\,{\rm sp}}({\mathbf{A}})-{\,{\rm sp}}({\mathbf{B}})$ für beliebige $n\times n$ Matrizen ${\mathbf{A}}$ und ${\mathbf{B}}$,
  • ${\,{\rm sp}}({\mathbf{C}}{\mathbf{D}})={\,{\rm sp}}({\mathbf{D}}{\mathbf{C}})$ für beliebige $n\times m$ Matrizen ${\mathbf{C}}$ und beliebige $m\times n$ Matrizen ${\mathbf{D}}$.
• Hieraus und aus der Definitionsgleichung (29) von ${\mathbf{G}}$ ergibt sich, daß
  

  $${\,{\rm sp}}({\mathbf{G}}) = {\,{\rm sp}}\Bigl({\mathbf{I}}_n-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)$$

  $$= {\,{\rm sp}}({\mathbf{I}}_n)-{\,{\rm sp}}\Bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)$$

  $$= {\,{\rm sp}}({\mathbf{I}}_n)-{\,{\rm sp}}\Bigl({\mathbf{X}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}\Bigr)$$

  $$= {\,{\rm sp}}({\mathbf{I}}_n)-{\,{\rm sp}}({\mathbf{I}}_m)$$

  $$= n-m\,,$$

  
  
  wobei ${\mathbf{I}}_\ell$ die $(\ell\times \ell)$-dimensionale Einheitsmatrix bezeichnet.
  
  $\Box$

Theorem 3.6   $\;$ Es gilt ${\mathbb{E}\,}S^2=\sigma^2$ für jedes $\sigma^2>0$, d.h., $S^2$ ist ein erwartungstreuer Schätzer für $\sigma ^2$.

Beweis

 

• Aus (17) und (29) ergibt sich, daß
  

  $${\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}} = {\mathbf{Y}}-{\mathbf{X}} ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$$

  $$= {\mathbf{G}}{\mathbf{Y}}$$

  $$= {\mathbf{G}}{\mathbf{X}}{\boldsymbol{\beta}}+{\mathbf{G}}{\boldsymbol{\varepsilon }}$$

  $$= {\mathbf{G}}{\boldsymbol{\varepsilon }}\,,$$

  
  
  weil
  $${\mathbf{G}}{\mathbf{X}}=\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr){\mathbf{X}} ={\bf0}\,.$$

• Für den in (28) eingeführten Schätzer $S^2$ gilt somit wegen ${\mathbf{G}}^\top{\mathbf{G}}={\mathbf{G}}^2={\mathbf{G}}$ (vgl. Lemma 3.6), daß
  

  $$S^2 = \frac{1}{n-m}\;({\mathbf{G}}{\boldsymbol{\varepsilon }})^\top({\mathbf{G}}{\boldsymbol{\varepsilon }})$$

  $$= \frac{1}{n-m}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$$

  $$= \frac{1}{n-m}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$$

  $$= \frac{1}{n-m}\;{\,{\rm sp}}\bigl({{\boldsymbol{\varepsilon }}}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}\bigr)$$

  $$= \frac{1}{n-m}\;{\,{\rm sp}}\bigl({\mathbf{G}}{\boldsymbol{\varepsilon }}{{\boldsymbol{\varepsilon }}}^\top\bigr)\,.$$

  
  

• Wegen ${\mathbb{E}\,}({\boldsymbol{\varepsilon }}{{\boldsymbol{\varepsilon }}}^\top)=\sigma^2{\mathbf{I}}_n$ ergibt sich hieraus, daß
  

  $${\mathbb{E}\,}S^2 = \frac{1}{n-m}\;{\,{\rm sp}} \bigl({\mathbf{G}}{\mathbb{E}\,}({\boldsymbol{\varepsilon }}{{\boldsymbol{\varepsilon }}}^\top)\bigr)$$

  $$= \frac{1}{n-m}\;{\,{\rm sp}} \bigl({\mathbf{G}}\sigma^2{\mathbf{I}}_n\bigr)$$

  $$= \frac{\sigma^2}{n-m}\;{\,{\rm sp}}\bigl({\mathbf{G}}\bigr)=\sigma^2\,,$$

  
  
  wobei sich die letzte Gleichheit aus Lemma 3.7 ergibt.
  
  $\Box$