Verteilungs- und Unabhängigkeitseigenschaften von $\widehat{\boldsymbol{\beta}}$ und $S^2$

• Außer der bereits in (27) erwähnten Normalverteilungseigenschaft $\widehat{\boldsymbol{\beta}}\sim {\rm N}\bigl({\boldsymbol{\beta}}, \sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1}\bigr)$ lässt sich auch die Verteilung des Schätzers

  $$S^2=\frac{1}{n-m}\;({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}) .$$ (37)

  
  
  für die Varianz $\sigma ^2$ der Störgrößen bestimmen.
• Hierfür benutzen wir die Darstellungsformel

  $${\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}={\mathbf{G}}{\boldsymbol{\varepsilon }} ,$$ (38)

  
  
  die wir im Beweis von Theorem 2.5 gezeigt hatten, wobei ${\mathbf{G}}={\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$.

Dabei benötigen wir die folgende Rangformel, die wir hier ohne Beweis angeben; vgl. Theorem 2.2.2 im Skript zur Vorlesung ,, Lineare Algebra'' von W. Lütkebohmert (Universität Ulm, Wintersemester 2005/06).

Lemma 2.3   $\;$ Sei ${\mathbf{A}}$ eine beliebige $n\times n$ Matrix. Dann gilt

$${ {\rm rg}}({\mathbf{A}})=n-\dim {\rm Ker}({\mathbf{A}}) ,$$ (39)

wobei ${\rm Ker}({\mathbf{A}})=\{{\mathbf{x}}\in\mathbb{R}^n: {\mathbf{A}}{\mathbf{x}}={\bf o}\}$ und $\dim {\rm Ker}({\mathbf{A}})$ die Dimension von ${\rm Ker}({\mathbf{A}})\subset \mathbb{R}^n$ bezeichnet.

Aus der in Theorem 1.9 hergeleiteten Bedingung für die $\chi ^2$-Verteiltheit von quadratischen Formen normalverteilter Zufallsvektoren ergibt sich nun das folgende Resultat.

Theorem 2.7   $\;$ Es gilt

$$\frac{(n-m)S^2}{\sigma^2}\sim\chi^2_{n-m} ,$$ (40)

d.h., die Zufallsvariable $(n-m)S^2/\sigma^2$ hat eine (zentrale) $\chi ^2$-Verteilung mit $n-m$ Freiheitsgraden.

Beweis

 

• In Lemma 2.1 hatten wir gezeigt, dass die Matrix ${\mathbf{G}}={\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$ idempotent und symmetrisch ist.
• Hieraus und aus (38) ergibt sich, dass
  

  $$\frac{(n-m)S^2}{\sigma^2} = \frac{1}{\sigma^2}\;({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbo... ...ol{\varepsilon }}^\top {\mathbf{G}}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$$

  $$= \bigl(\sigma^{-1}{\boldsymbol{\varepsilon }}\bigr)^\top{\mathbf{G}} \bigl(\sigma^{-1}{\boldsymbol{\varepsilon }}\bigr) .$$

  
  

• Weil $\sigma^{-1}{\boldsymbol{\varepsilon }}\sim$ N $({\mathbf{o}},{\mathbf{I}})$ und weil die Matrix ${\mathbf{G}}{\mathbf{I}}={\mathbf{G}}$ idempotent ist, genügt es wegen Theorem 1.9 noch zu zeigen, dass ${ {\rm rg}}({\mathbf{G}})=n-m$.
• Im Beweis von Theorem 2.5 hatten wir gezeigt, dass ${\mathbf{G}}{\mathbf{X}}={\bf0}$, d.h.
  $$\{{\mathbf{X}}{\mathbf{y}}: {\mathbf{y}}\in\mathbb{R}^m\}\subset {\rm Ker}({\mathbf{G}}) .$$

• Andererseits gilt für jedes ${\mathbf{x}}\in {\rm Ker}({\mathbf{G}})$, dass
  $$\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr){\mathbf{x}}={\bf o}$$   bzw.$$\qquad {\mathbf{x}}={\mathbf{X}}\underbrace{({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{x}}}_{={\mathbf{y}} \in\mathbb{R}^m}$$
  und somit ${\rm Ker}({\mathbf{G}})=\{{\mathbf{X}}{\mathbf{y}}: {\mathbf{y}}\in\mathbb{R}^m\}$.
• Hieraus folgt, dass $\dim {\rm Ker}({\mathbf{G}})={ {\rm rg}}({\mathbf{X}})=m$ bzw. ${ {\rm rg}}({\mathbf{G}})=n-m$ wegen Lemma 2.3.
  
  $\Box$

Außerdem nutzen wir das in Theorem 1.10 hergeleitete Kriterium für die Unabhängigkeit von linearen bzw. quadratischen Formen normalverteilter Zufallsvektoren, um das folgende Resultat zu zeigen.

Theorem 2.8   $\;$ Die Schätzer $\widehat{\boldsymbol{\beta}}$ und $S^2$ für ${\boldsymbol {\beta }}$ bzw. $\sigma ^2$ sind unabhängig.

Beweis

 

• Aus $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ und ${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}$ ergibt sich, dass
  $$\widehat{\boldsymbol{\beta}}\;=\; ({\mathbf{X}}^\top{\mathbf{X}})... ...}})^{-1}{\mathbf{X}}^\top {\boldsymbol{\varepsilon }}+ {\boldsymbol{\beta}} .$$

• Außerdem hatten wir im Beweis von Theorem 2.7 gezeigt, dass sich der Schätzer
  $$S^2=\frac{1}{n-m}\;({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})^\top ({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})$$
  als quadratische Form von ${\boldsymbol{\varepsilon }}$ darstellen lässt:
  $$S^2=\frac{1}{n-m}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }} ,$$   $$\mbox{wobei $\; {\mathbf{G}}={\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$.}$$$$$$

• Weil ${\boldsymbol{\varepsilon }}\sim$ N $({\mathbf{o}},\sigma^2{\mathbf{I}})$ und weil
  $$\Big(({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr) ... ...athbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)={\bf0} ,$$
  ergibt sich aus Theorem 1.10, dass die lineare Form $({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top {\boldsymbol{\varepsilon }}$ und die quadratische Form ${\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$ unabhängig sind.
• Damit sind auch die Zufallsvariablen $\widehat{\boldsymbol{\beta}}$ und $S^2$ unabhängig.
  
  $\Box$