Maximum-Likelihood-Schätzer

• Durch (26) ist ein parametrisches Modell für die Verteilung des Vektors ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ der Stichprobenvariablen $Y_1,\ldots,Y_n$ gegeben.
• Außer der Methode der kleinsten Quadrate, die in Abschnitt 2.1 diskutiert worden ist, kann nun auch die Maximum-Likelihood-Methode zur Gewinnung von Schätzern für die unbekannten Modellparameter ${\boldsymbol {\beta }}$ und $\sigma ^2$ verwendet werden.
• Aus (1.13) und (26) ergibt sich, dass

  $$f_{\mathbf{Y}}({\mathbf{y}})=\Bigl(\frac{1}{\sigma\sqrt{2\pi}}\Bi... ...\boldsymbol{\beta}})^\top ({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}})\Bigr)$$ (28)

  
  
  für jedes ${\mathbf{y}}=(y_1,\ldots,y_n)^\top\in\mathbb{R}^n$.
• Wir betrachten also die Likelihood-Funktion

  $$L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)=\Bigl(\frac{1}{\sig... ...\boldsymbol{\beta}})^\top ({\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}})\Bigr)$$ (29)

  
  
  bzw. die Loglikelihood-Funktion

  $$\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2)=-\;\frac{n}{2}... ...rac{1}{2\sigma^2}\;\vert{\mathbf{y}}-{\mathbf{X}}{\boldsymbol{\beta}}\vert^2 .$$ (30)

  
  

• Wir suchen Schätzer $\widehat{\boldsymbol{\beta}}$, $\widehat\sigma^2$ für ${\boldsymbol {\beta }}$, $\sigma ^2$, so dass mit Wahrscheinlichkeit $1$

  $$L({\mathbf{Y}};\widehat{\boldsymbol{\beta}},\widehat\sigma^2) =\s... ...eta}}\in\mathbb{R}^m, \sigma^2>0}L({\mathbf{Y}};{\boldsymbol{\beta}},\sigma^2)$$ (31)

  
  
  bzw. äquivalent hierzu

  $$\log L({\mathbf{Y}};\widehat{\boldsymbol{\beta}},\widehat\sigma^2... ...\mathbb{R}^m, \sigma^2>0}\log L({\mathbf{Y}};{\boldsymbol{\beta}},\sigma^2) .$$ (32)

  
  

Beachte

$\;$ Die Maximierung in (31) bzw. (32) kann in zwei Schritten erfolgen: zuerst bezüglich ${\boldsymbol {\beta }}$ und dann bezüglich $\sigma ^2$. Wegen (30) ist der erste Schritt identisch mit dem in Abschnitt 2.1.1 betrachteten Minimierungsverfahren.

Theorem 2.6   Die Lösung des Maximierungsproblems $(\ref{max.lik.gle})$ bzw. $(\ref{max.log.gle})$ ist eindeutig bestimmt und gegeben durch

$$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$$ (33)

bzw.

$$\widehat\sigma^2=\frac{1}{n}\;\bigl({\mathbf{Y}}-{\mathbf{X}}\wid... ...bigr)^\top \bigl({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}\bigr) .$$ (34)

Beweis

 

• Für beliebige, jedoch fest vorgegebene ${\mathbf{y}}\in\mathbb{R}^n$ und $\sigma^2>0$ betrachten wir zunächst die Abbildung

  $$\mathbb{R}^m\ni{\boldsymbol{\beta}}\mapsto\log L({\mathbf{y}};{\boldsymbol{\beta}},\sigma^2) .$$ (35)

  
  

• In Theorem 2.1 hatten wir gezeigt, dass die in (35) gegebene Abbildung das eindeutig bestimmte globale Maximum $\widehat{\boldsymbol{\beta}}({\mathbf{y}})=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{y}}$ besitzt, das nicht von $\sigma ^2$ abhängt.
• Für jedes (fest vorgegebene) ${\mathbf{y}}\in\mathbb{R}^n$ betrachten wir nun die Abbildung

  $$(0,\infty)\ni\sigma^2\mapsto\log L({\mathbf{y}};\widehat{\boldsymbol{\beta}}({\mathbf{y}}),\sigma^2) .$$ (36)

  
  

• Diese Abbildung ist stetig, und es gilt offenbar
  $$\lim\limits_{\sigma^2\to\infty} \log L({\mathbf{y}};\widehat{\boldsymbol{\beta}}({\mathbf{y}}),\sigma^2)=-\infty .$$

• Weil $n>m$ vorausgesetzt wird, nimmt der $n$-dimensionale absolutstetige Zufallsvektor ${\mathbf{Y}}$ nur mit Wahrscheinlichkeit 0 Werte in der $m$-dimensionalen Teilmenge $\{{\mathbf{X}} y: y\in\mathbb{R}^m\}$ des $\mathbb{R}^n$ an.
• Deshalb gilt $\vert{\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}\vert^2>0$ mit Wahrscheinlichkeit $1$ und somit
  $$\lim\limits_{\sigma^2\to 0} \log L({\mathbf{y}};\widehat{\boldsymbol{\beta}}({\mathbf{y}}),\sigma^2)=-\infty$$
  für fast jedes ${\mathbf{y}}\in\mathbb{R}^n$.
• Für fast jedes ${\mathbf{y}}\in\mathbb{R}^n$ besitzt also die in (36) gegebene Abbildung mindestens ein globales Maximum in $(0,\infty)$.
• Für jedes dieser Maxima gilt
  $$\frac{\partial\log L({\mathbf{y}};\widehat{\boldsymbol{\beta}}({\... ...top ({\mathbf{y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}({\mathbf{y}}))=0 .$$

• Die (eindeutig bestimmte) Lösung dieser Gleichung ist
  $$\widehat\sigma^2({\mathbf{y}})=\frac{1}{n}\;({\mathbf{y}}-{\mathb... ...^\top ({\mathbf{y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}({\mathbf{y}})) .$$
  
   
    $\Box$
  
  
  

Beachte

 

• Der in Theorem 2.6 hergeleitete ML-Schätzer $\widehat{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ stimmt mit dem in Theorem 2.1 hergeleiteten KQ-Schätzer überein.
• Der ML-Schätzer $\widehat\sigma^2$ für $\sigma ^2$ unterscheidet sich dagegen von dem in Abschnitt 2.1.3 betrachteten (erwartungstreuen) Schätzer $S^2$ für $\sigma ^2$ um einen konstanten Proportionalitätsfaktor, denn es gilt
  $$\widehat\sigma^2=\frac{n-m}{n}\; S^2 .$$