Maximum-Likelihood-Schätzer

• Genauso wie im Fall von Designmatrizen mit vollem Spaltenrang, der in Abschnitt 3.3.1 diskutiert wurde, ergibt sich aus Theorem 3.9, daß der Vektor ${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}$ der Zielvariablen normalverteilt ist mit

  $${\mathbf{Y}}\sim\,{\rm N}({\mathbf{X}}{\boldsymbol{\beta}},\,\sigma^2{\mathbf{I}})\,.$$ (48)

  
  

• Mit anderen Worten: Der Zufallsvektor ${\mathbf{Y}}$ ist absolutstetig mit der Dichte

  $$f_{\mathbf{Y}}({\mathbf{y}})=\Bigl(\frac{1}{\sigma\sqrt{2\pi}}\Bi... ...\boldsymbol{\beta}})^\top ({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}})\Bigr)$$ (49)

  
  
  für jedes ${\mathbf{y}}=(y_1,\ldots,y_n)^\top\in\mathbb{R}^n$.
• Die Loglikelihood-Funktion hat somit die Gestalt

  $$\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)=-\;\frac{n}{2}... ...rac{1}{2\sigma^2}\;\Vert{\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}}\Vert^2\,.$$ (50)

  
  

• Um einen Maximum-Likelihood-Schätzer für den Parametervektor $({\boldsymbol{\beta}},\sigma^2)$ zu bestimmen, betrachten wir zunächst (genauso wie im Beweis von Theorem 3.10) für beliebige, jedoch fest vorgegebene ${\mathbf{y}}\in\mathbb{R}^n$ und $\sigma^2>0$ die Abbildung

  $$\mathbb{R}^m\ni{\boldsymbol{\beta}}\mapsto\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)\,.$$ (51)

  
  

• Aus (50) und (51) ergibt sich, daß jeder ML-Schätzerwert für ${\boldsymbol {\beta }}$ den folgenden Ausdruck minimiert:
  $$e({\boldsymbol{\beta}})=\frac{1}{n}\;\Vert{\mathbf{y}}-{\mathbf{X... ...}{\boldsymbol{\beta}})^\top({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}})\,.$$

• Aus den Theoremen 4.3 und 4.4 folgt nun, daß der MKQ-Schätzer $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ gleichzeitig ein ML-Schätzer für ${\boldsymbol {\beta }}$ ist (der nicht von $\sigma ^2$ abhängt).
• Außerdem ergibt sich genauso wie im Beweis von Theorem 3.10, daß durch $(\overline{\boldsymbol{\beta}},\overline\sigma^2)$ ein ML-Schätzer für $({\boldsymbol{\beta}},\sigma^2)$ gegeben ist, wobei

  $$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\... ...igr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)\,.$$ (52)

  
  

Beachte

 

• In Abschnitt 4.2.1 hatten wir gezeigt, daß $\overline{\boldsymbol{\beta}}$ im allgemeinen kein erwartungstreuer Schätzer für ${\boldsymbol {\beta }}$ ist. Ebenso ist $\overline\sigma^2$ kein erwartungstreuer Schätzer für $\sigma ^2$.
• Um dies zu zeigen, sind die folgenden Eigenschaften der Matrix

  $${\mathbf{G}}= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$$ (53)

  
  
  nützlich, die als Verallgemeinerung der entsprechenden Matrix-Eigenschaften aufgefaßt werden können, die in Lemma 3.6 bzw. in Lemma 3.7 für den Fall von Designmatrizen ${\mathbf{X}}$ mit vollem Spaltenrang hergeleitet worden sind.

Lemma 4.7   $\;$ Sei ${\,{\rm rg}}({\mathbf{X}})=r\le m$. Für die in $(\ref{def.mat.geh})$ gegebene Matrix ${\mathbf{G}}$ gilt dann:

1.

${\mathbf{G}}$ ist idempotent und symmetrisch,

2.

${\mathbf{G}}{\mathbf{X}}={\bf0}$ und

3.

${\,{\rm sp}}({\mathbf{G}})=n-r$.

Beweis

 

• Aus Lemma 4.3 ergibt sich, daß
  

  $${\mathbf{G}}^2 = \bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{... ...mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\math... ...hbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top}_{={\mathbf{X}}^\top}$$

  $$= {\mathbf{I}}-2{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\math... ...+{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{G}}\,.$$

  
  

• In Lemma 4.3 hatten wir gezeigt, daß $\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top$ eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ ist. Somit ergibt sich aus Lemma 4.6, daß
  $${\mathbf{G}}^\top =\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^... ...\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{G}}\,.$$

• Damit ist die erste Teilaussage bewiesen. Um die zweite Teilaussage zu beweisen, genügt es zu beachten, daß
  $${\mathbf{G}}{\mathbf{X}}=\bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf... ...athbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}-{\mathbf{X}}={\bf0}\,,$$
  wobei sich die vorletzte Gleichheit aus Lemma 4.3 ergibt (vgl. (39) im Beweis von Theorem 4.6).
• Um die dritte Teilaussage zu beweisen, überzeugen wir uns zunächst davon,
  • daß

    $${\,{\rm rg}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)=r\,,$$ (54)

    
    
    denn aus Lemma 4.3 und aus Lemma 4.4 ergibt sich, daß
    $$r={\,{\rm rg}}({\mathbf{X}})={\,{\rm rg}}\bigl({\mathbf{X}}({\mat... ...^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)\le{\,{\rm rg}}({\mathbf{X}})=r\,,$$

  • und daß ${\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ eine idempotente Matrix ist, denn aus Lemma 4.3 ergibt sich, daß
    $$\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\... ...X}}^\top}= {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\,.$$

• Außerdem kann man zeigen, daß
  • ${\,{\rm sp}}({\mathbf{A}}-{\mathbf{B}})={\,{\rm sp}}({\mathbf{A}})-{\,{\rm sp}}({\mathbf{B}})$ für beliebige $m\times m$ Matrizen ${\mathbf{A}}$ und ${\mathbf{B}}$,
  • ${\,{\rm sp}}({\mathbf{C}})={\,{\rm rg}}({\mathbf{C}})$ für jede idempotente und symmetrische $m\times m$ Matrix ${\mathbf{C}}$.
• Hieraus und aus (54) folgt, daß
  

  $${\,{\rm sp}}({\mathbf{G}}) = {\,{\rm sp}}\bigl({\mathbf{I}}_n-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

  $$= {\,{\rm sp}}({\mathbf{I}}_n)-{\,{\rm sp}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)$$

  $$= n -{\,{\rm rg}}\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)= n-r\,.$$

  
  
  
   
    $\Box$
  
  
  

Mit Hilfe von Lemma 4.7 können wir nun den Erwartungswert des ML-Schätzers $\overline\sigma^2$ bestimmen.

Theorem 4.10   $\;$ Es gilt

$${\mathbb{E}\,}\overline\sigma^2=\frac{n-r}{n}\;\sigma^2\,.$$ (55)

Beweis

 

• Aus (52) - (53) und aus Lemma 4.7 ergibt sich, daß
  

  $${\mathbb{E}\,}\overline\sigma^2 = \frac{1}{n}\;{\mathbb{E}\,}\Bigl(\bigl({\mathbf{Y}}-{\mathbf{X}}\... ...)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)\Bigr)$$

  $$= \frac{1}{n}\;{\mathbb{E}\,}\Bigl({\mathbf{Y}}^\top \bigl({\mathbf... ...{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr) {\mathbf{Y}}\Bigr)$$

  $$= \frac{1}{n}\;{\mathbb{E}\,}\Bigl({\mathbf{Y}}^\top {\mathbf{G}}^\... ...{G}}({\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }})\Vert^2\Bigr)$$

  $$= \frac{1}{n}\;{\mathbb{E}\,}\bigl(\Vert{\mathbf{G}}{\boldsymbol{\v... ...l({\boldsymbol{\varepsilon }}^\top{\mathbf{G}}{\boldsymbol{\varepsilon }}\Bigr)$$

  $$= \frac{\sigma^2}{n}\; {\,{\rm sp}}({\mathbf{G}})=\frac{n-r}{n}\;\sigma^2\,,$$

  
  
  wobei ${\mathbf{G}}= {\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$.
  
  $\Box$

Beachte

$\;$ Wegen Theorem 4.10 wird anstelle des ML-Schätzers $\overline\sigma^2$ der folgende erwartungstreue Schätzer $S^2$ für $\sigma ^2$ betrachtet:

$$S^2=\frac{1}{n-r}\;\bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\bold... ...igr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr)\,.$$ (56)