Maximum-Likelihood-Schätzer

• Genauso wie im Fall von Designmatrizen mit vollem Spaltenrang, der in Abschnitt 2.2.1 diskutiert wurde, ergibt sich aus Theorem 1.3, dass der Vektor ${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}$ der Zielvariablen normalverteilt ist mit

  $${\mathbf{Y}}\sim {\rm N}({\mathbf{X}}{\boldsymbol{\beta}}, \sigma^2{\mathbf{I}}) .$$ (56)

  
  

• Mit anderen Worten: Der Zufallsvektor ${\mathbf{Y}}$ ist absolutstetig mit der Dichte

  $$f_{\mathbf{Y}}({\mathbf{y}})=\Bigl(\frac{1}{\sigma\sqrt{2\pi}}\Bi... ...\boldsymbol{\beta}})^\top ({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}})\Bigr)$$ (57)

  
  
  für jedes ${\mathbf{y}}=(y_1,\ldots,y_n)^\top\in\mathbb{R}^n$.
• Die Loglikelihood-Funktion $\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)=\log f_{\mathbf{Y}}({\mathbf{y}})$ hat somit die Gestalt

  $$\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)=-\;\frac{n}{2}... ...rac{1}{2\sigma^2}\;\vert{\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}}\vert^2 .$$ (58)

  
  

• Um einen Maximum-Likelihood-Schätzer für den Parametervektor $({\boldsymbol{\beta}},\sigma^2)$ zu bestimmen, betrachten wir zunächst (genauso wie im Beweis von Theorem 2.6) für beliebige, jedoch fest vorgegebene ${\mathbf{y}}\in\mathbb{R}^n$ und $\sigma^2>0$ die Abbildung

  $$\mathbb{R}^m\ni{\boldsymbol{\beta}}\mapsto\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2) .$$ (59)

  
  

• Aus (58) und (59) ergibt sich, dass dabei der folgende Ausdruck $e({\boldsymbol{\beta}})$ minimiert werden muss, wobei
  $$e({\boldsymbol{\beta}})=\frac{1}{n}\;\vert{\mathbf{y}}-{\mathbf{X... ...}}{\boldsymbol{\beta}})^\top({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}}) .$$

• Aus Theorem 3.6 folgt somit, dass der KQ-Schätzer $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ gleichzeitig ein ML-Schätzer für ${\boldsymbol {\beta }}$ ist (der nicht von $\sigma ^2$ abhängt).
• Außerdem ergibt sich genauso wie im Beweis von Theorem 2.6, dass durch $(\overline{\boldsymbol{\beta}},\overline\sigma^2)$ ein ML-Schätzer für $({\boldsymbol{\beta}},\sigma^2)$ gegeben ist, wobei

  $$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}} \qquad \overline\sigma^2=\frac{1}{n}\;\bigl({\mathbf{Y}}-{\mathbf... ...igr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr) .$$ (60)

  
  

Beachte

 

• In Abschnitt 3.2.2 hatten wir gezeigt, dass $\overline {\boldsymbol {\beta }}$ im allgemeinen kein erwartungstreuer Schätzer für ${\boldsymbol {\beta }}$ ist.
• Ebenso ist $\overline\sigma^2$ kein erwartungstreuer Schätzer für $\sigma ^2$, wobei sich jedoch durch eine einfache Modifikation von $\overline\sigma^2$ ein erwartungstreuer Schätzer für $\sigma ^2$ ergibt.
• Um dies zu zeigen, sind die folgenden Eigenschaften der Matrix

  $${\mathbf{G}}= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$$ (61)

  
  
  nützlich, die als Verallgemeinerung der entsprechenden Matrix-Eigenschaften aufgefasst werden können, die in Lemma 2.1 bzw. in Lemma 2.2 für den Fall von Designmatrizen ${\mathbf{X}}$ mit vollem Spaltenrang hergeleitet worden sind.

Lemma 3.8   $\;$ Sei ${ {\rm rg}}({\mathbf{X}})=r\le m$. Für die in $(\ref{def.mat.geh})$ gegebene Matrix ${\mathbf{G}}$ gilt dann:

1.

${\mathbf{G}}$ ist idempotent und symmetrisch,

2.

${\mathbf{G}}{\mathbf{X}}={\bf0}$ und

3.

${ {\rm sp}}({\mathbf{G}})=n-r$.

Beweis

 

• Aus Lemma 3.5 ergibt sich, dass
  

  $${\mathbf{G}}^2 = \bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{... ...mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\math... ...hbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top}_{={\mathbf{X}}^\top}$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\math... ...+{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{G}} .$$

  
  

• In Lemma 3.5 hatten wir gezeigt, dass $\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top$ eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ ist. Somit ergibt sich aus Lemma 3.7, dass
  $${\mathbf{G}}^\top =\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\... ...{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{G}} .$$

• Damit ist die erste Teilaussage bewiesen. Um die zweite Teilaussage zu beweisen, genügt es zu beachten, dass
  $${\mathbf{G}}{\mathbf{X}}=\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf... ...mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}-{\mathbf{X}}={\bf0} ,$$
  wobei sich die vorletzte Gleichheit aus Lemma 3.6 ergibt.
• Die dritte Teilaussage lässt sich wie folgt zeigen:
  • Aus Lemma 3.2 und aus Lemma 3.6 ergibt sich, dass
    $$r={ {\rm rg}}({\mathbf{X}})={ {\rm rg}}\bigl({\mathbf{X}}({\mat... ...}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)\le{ {\rm rg}}({\mathbf{X}})=r ,$$
    d.h.,

    $${ {\rm rg}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)=r .$$ (62)

    
    

  • Aus Lemma 3.5 ergibt sich, dass die Matrix ${\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ idempotent ist, denn es gilt
    $$\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\... ...f{X}}^\top}= {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top .$$

  • Weil ${\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ außerdem symmetrisch ist, folgt aus Lemma 1.3 mit Hilfe von (62), dass
    

    $${ {\rm sp}}({\mathbf{G}}) = { {\rm sp}}\bigl({\mathbf{I}}_n-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

    $$= { {\rm sp}}({\mathbf{I}}_n)-{ {\rm sp}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

    $$= n -{ {\rm rg}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)= n-r .$$

    
    
    
     
      $\Box$
    
    
    

Aus Lemma 3.8 ergibt sich nun eine Formel für den Erwartungswert des in (60) betrachteten ML-Schätzers $\overline\sigma^2$.

Theorem 3.13   $\;$ Es gilt

$${\mathbb{E} }\overline\sigma^2=\frac{n-r}{n}\;\sigma^2 .$$ (63)

Beweis

$\;$ Für den in (60) betrachteten ML-Schätzer $\overline\sigma^2=\bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)/n$ ergibt sich mit den in Lemma 3.8 hergeleiteten Eigenschaften der Matrix ${\mathbf{G}}= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$, dass

$${\mathbb{E} }\overline\sigma^2 = \frac{1}{n}\;{\mathbb{E} }\Bigl(\bigl({\mathbf{Y}}-{\mathbf{X}}\... ...)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)\Bigr)$$

$$= \frac{1}{n}\;{\mathbb{E} }\Bigl({\mathbf{Y}}^\top \bigl({\mathbf... ...{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr) {\mathbf{Y}}\Bigr)$$

$$= \frac{1}{n}\;{\mathbb{E} }\Bigl({\mathbf{Y}}^\top {\mathbf{G}}^\... ...{G}}({\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }})\vert^2\Bigr)$$

$$= \frac{1}{n}\;{\mathbb{E} }\bigl(\vert{\mathbf{G}}{\boldsymbol{\v... ...l({\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}\Bigr)$$

$$= \frac{\sigma^2}{n}\; { {\rm sp}}({\mathbf{G}})=\frac{n-r}{n}\;\sigma^2 .$$

 
  $\Box$

Beachte

$\;$ Mit der Schreibweise

$$S^2=\frac{1}{n-r}\;\bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\bold... ...}\bigr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr) \qquad S^2=\frac{1}{n-r}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$$ (64)

ergibt sich aus Theorem 3.13, dass ${\mathbb{E} }S^2=\sigma^2$, d.h., $S^2$ ist ein erwartungstreuer Schätzer für $\sigma ^2$.

Um die Verteilungen der Schätzer $\overline {\boldsymbol {\beta }}$ bzw. $S^2$ bestimmen zu können, benötigen wir den Begriff der singulären multivariaten Normalverteilung, vgl. Abschnitt 1.2.5.

Theorem 3.14   $\;$ Sei ${ {\rm rg}}({\mathbf{X}})=r\le m$. Dann gilt

$$\overline{\boldsymbol{\beta}}\sim {\rm N}\bigl( ({\mathbf{X}}^\... ...bf{X}}^\top{\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)$$ (65)

und

$$\frac{(n-r)S^2}{\sigma^2}\sim\chi^2_{n-r} ,$$ (66)

wobei die Zufallsvariablen $\overline {\boldsymbol {\beta }}$ und $S^2$ unabhängig sind.

Beweis

 

• Für den in (60) gegebenen Schätzer $\overline {\boldsymbol {\beta }}$ gilt
  $$\overline{\boldsymbol{\beta}}= ({\mathbf{X}}^\top{\mathbf{X}})^-{... ...silon }}\bigr) = {\boldsymbol{\mu}}+{\mathbf{B}}{\boldsymbol{\varepsilon }} ,$$
  wobei
  $${\boldsymbol{\mu}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^... ...ldsymbol{\varepsilon }}\sim {\rm N}({\mathbf{o}}, \sigma^2{\mathbf{I}}_n) .$$

• Aus der Definition der (singulären) multivariaten Normalverteilung ergibt sich nun, dass $\overline{\boldsymbol{\beta}}\sim {\rm N}({\boldsymbol{\mu}}, {\mathbf{K}})$, wobei
  $${\mathbf{K}}=\sigma^2 {\mathbf{B}}{\mathbf{B}}^\top=\sigma^2({\ma... ...thbf{X}}^\top{\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top .$$

• Damit ist (65) bewiesen. Um die Gültigkeit von (66) zu zeigen, nutzen wir die im Beweis von Theorem 3.13 hergeleitete Identität

  $$S^2=\frac{1}{n-r}\;{\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }} , \mbox{wobei ${\mathbf{G}}= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$.}$$ (67)

  
  

• Weil ${\boldsymbol{\varepsilon }}\sim {\rm N}({\mathbf{o}}, \sigma^2{\mathbf{I}}_n)$ und weil wir in Lemma 3.8 gezeigt hatten, dass
  • die Matrix ${\mathbf{G}}$ idempotent und symmetrisch ist
  • mit ${ {\rm rg}}({\mathbf{G}})=n-r$,
  ergibt sich aus Theorem 1.9, dass die quadratische Form $(n-r)S^2/\sigma^2$ eine (zentrale) $\chi ^2$-Verteilung mit $n-r$ Freiheitsgraden hat, d.h., $(n-r)S^2/\sigma^2\sim\chi^2_{n-r}$.
• Weil jede idempotente und symmetrische Matrix gleichzeitig auch nichtnegativ definit ist und weil wegen Lemma 3.5
  $${\mathbf{B}}{\mathbf{G}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...athbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top}_{={\mathbf{X}}^\top}={\bf0} ,$$
  ergibt sich aus Theorem 1.10, dass die Zufallsvariablen ${\mathbf{B}}{\boldsymbol{\varepsilon }}$ und ${\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}$ unabhängig sind. Damit sind auch die Zufallsvariablen $\overline {\boldsymbol {\beta }}$ und $S^2$ unabhängig.
  
  $\Box$