Erwartungstreue Schätzung der Varianz $\sigma ^2$ der Störgrößen

• Neben den in (5) formulierten Bedingungen an die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ gelte nun $n>m$, wobei wir erneut voraussetzen, dass die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. ${ {\rm rg}}({\mathbf{X}})=m$.
• In Verallgemeinerung des Ansatzes, den wir in Abschnitt I-5.1.3 bei der Schätzung von $\sigma ^2$ im einfachen linearen Regressionsmodell betrachtet hatten, setzen wir nun

  $$S^2=\frac{1}{n-m}\;({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}) .$$ (22)

  
  

• Bei normalverteilten Störgrößen kann $S^2$ als eine modifizierte Version eines Maximum-Likelihood-Schätzers für $\sigma ^2$ aufgefasst werden; vgl. Abschnitt 2.2.

Wir zeigen, dass durch (22) ein erwartungstreuer Schätzer für $\sigma ^2$ gegeben ist. Hierbei sind die folgenden Hilfssätze nützlich.

Lemma 2.1   Die $n\times n$ Matrix

$${\mathbf{G}}={\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$ (23)

ist idempotent und symmetrisch, d.h., es gilt

$${\mathbf{G}}={\mathbf{G}}^2 \qquad {\mathbf{G}}={\mathbf{G}}^\top .$$ (24)

Beweis

 

• Die zweite Teilaussage in (24) ergibt sich unmittelbar aus der Definition von ${\mathbf{G}}$ und den Rechenregeln für transponierte Matrizen, denn es gilt
  $${\mathbf{G}}^\top \;=\; \Bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{... ...{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\;=\; {\mathbf{G}} .$$

• Außerdem gilt
  

  $${\mathbf{G}}^2 = \Bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-... ...hbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\m... ...thbf{X}}^\top {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$

  $$= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top ={\mathbf{G}} .$$

  
  
  
   
    $\Box$
  
  
  

Lemma 2.2   Für die in $(\ref{def.mat.em})$ gegebene $n\times n$ Matrix ${\mathbf{G}}$ gilt ${ {\rm sp}}({\mathbf{G}})=n-m$.

Beweis

 

• Man kann sich leicht überlegen, dass
  • ${ {\rm sp}}({\mathbf{A}}-{\mathbf{B}})={ {\rm sp}}({\mathbf{A}})-{ {\rm sp}}({\mathbf{B}})$ für beliebige $n\times n$ Matrizen ${\mathbf{A}}$ und ${\mathbf{B}}$,
  • ${ {\rm sp}}({\mathbf{C}}{\mathbf{D}})={ {\rm sp}}({\mathbf{D}}{\mathbf{C}})$ für beliebige $n\times m$ Matrizen ${\mathbf{C}}$ und beliebige $m\times n$ Matrizen ${\mathbf{D}}$.
• Hieraus und aus der Definitionsgleichung (23) von ${\mathbf{G}}$ ergibt sich, dass
  

  $${ {\rm sp}}({\mathbf{G}}) = { {\rm sp}}\Bigl({\mathbf{I}}_n-{\mathbf{X}}({\mathbf{X}}^\top{\... ...}}\Bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)$$

  $$= { {\rm sp}}({\mathbf{I}}_n)-{ {\rm sp}}\Bigl({\mathbf{X}}^\top{... ...r) \;=\; { {\rm sp}}({\mathbf{I}}_n)-{ {\rm sp}}({\mathbf{I}}_m)\; =\; n-m ,$$

  
  
  wobei ${\mathbf{I}}_\ell$ die $(\ell\times \ell)$-dimensionale Einheitsmatrix bezeichnet.
  
  $\Box$

Theorem 2.5   $\;$ Es gilt ${\mathbb{E} }S^2=\sigma^2$ für jedes $\sigma^2>0$, d.h., $S^2$ ist ein erwartungstreuer Schätzer für $\sigma ^2$.

Beweis

 

• Offenbar gilt

  $${\mathbf{G}}{\mathbf{X}}=\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr){\mathbf{X}} ={\bf0} .$$ (25)

  
  

• Hieraus ergibt sich mit Hilfe von (10) und (23), dass
  $${\mathbf{Y}}-{\mathbf{X}}\widehat{\b... ...\stackrel{(\ref{ers.hil.gle})}{=}\; {\mathbf{G}}{\boldsymbol{\varepsilon }}\,.$$

• Für den in (22) eingeführten Schätzer $S^2$ gilt somit wegen ${\mathbf{G}}^\top{\mathbf{G}}={\mathbf{G}}^2={\mathbf{G}}$ (vgl. Lemma 2.1), dass
  

  $$S^2 = \frac{1}{n-m}\;({\mathbf{G}}{\boldsymbol{\varepsilon }})^\top({\m... ...}{n-m}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$$

  $$= \frac{1}{n-m}\;{ {\rm sp}}\bigl({{\boldsymbol{\varepsilon }}}^\t... ...athbf{G}}{\boldsymbol{\varepsilon }}{{\boldsymbol{\varepsilon }}}^\top\bigr) .$$

  
  

• Wegen ${\mathbb{E} }({\boldsymbol{\varepsilon }}{{\boldsymbol{\varepsilon }}}^\top)=\sigma^2{\mathbf{I}}_n$ ergibt sich hieraus, dass
  $${\mathbb{E} }S^2 = \frac{1}{n-m}\;{ {\rm sp}} \bigl({\mathbf{G}... ...igr) = \frac{\sigma^2}{n-m}\;{ {\rm sp}} \bigl({\mathbf{G}}\bigr)=\sigma^2 ,$$
  wobei sich die letzte Gleichheit aus Lemma 2.2 ergibt.
  
  $\Box$