Maximum-Likelihood-Gleichung und numerische Lösungsansätze

• Zur Bestimmung eines Maximum-Likelihood-Schätzers für ${\boldsymbol {\beta }}$ wird die Maximum-Likelihood-Gleichung

  $${\mathbf{U}}({\boldsymbol{\beta}})={\bf o}$$ (39)

  
  
  betrachtet, die im allgemeinen nichtlinear ist und deshalb oft nur mit iterativen Methoden gelöst werden kann.
• Wegen Theorem 4.1 ist die Gleichung (39) äquivalent mit

  $${\mathbf{X}}^\top{\mathbf{V}}^{-1}({\boldsymbol{\beta}})\;\frac{d... ...l{\beta}})\; ({\mathbf{Y}}-{\boldsymbol{\mu}}({\boldsymbol{\beta}}))={\bf o} .$$ (40)

  
  

Beachte

 

• Aus Korollar 4.1 ergibt sich, dass sich (40) im Fall einer natürlichen Linkfunktion vereinfacht zu:

  $${\mathbf{X}}^\top ({\mathbf{Y}}-{\boldsymbol{\mu}}({\boldsymbol{\beta}}))={\bf o} .$$ (41)

  
  

• Weil wir außerdem voraussetzen, dass $0<\sigma_i^2({\boldsymbol{\beta}})<\infty$ für jedes $i=1,\ldots,n$ und dass die Designmatrix ${\mathbf{X}}$ vollen Spaltenrang hat, ist die Matrix ${\mathbf{W}}({\boldsymbol{\beta}})\;=\;-\;\tau^{-4}{\mathbf{X}}^\top{\mathbf{V}}({\boldsymbol{\beta}}){\mathbf{X}}$ der zweiten partiellen Ableitungen negativ definit.
• Somit gilt: Wenn (41) eine Lösung hat, dann ist diese Lösung ein (eindeutig bestimmter) Maximum-Likelihood-Schätzer $\widehat{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$.

Wir diskutieren nun die Grundideen von zwei numerischen Iterationsmethoden zur Lösung der Maximum-Likelihood-Gleichung (39). Dabei betrachten wir eine Folge von Zufallsvektoren $\widehat{\boldsymbol{\beta}}_0,\widehat{\boldsymbol{\beta}}_1,\ldots:\Omega\to\mathbb{R}^m$, die unter gewissen Bedingungen gegen einen Zufallsvektor $\widehat{\boldsymbol{\beta}}$ konvergieren, so dass $\widehat{\boldsymbol{\beta}}$ Lösung von (39) ist.

1.

Newton-Verfahren 

• Sei $\widehat{\boldsymbol{\beta}}_0:\Omega\to\mathbb{R}^m$ ein geeignet gewählter Startvektor, und die Iterationen $\widehat{\boldsymbol{\beta}}_1,\ldots,\widehat{\boldsymbol{\beta}}_k$ seien bereits berechnet worden.
• Zur Berechnung der $(k+1)$-ten Iteration $\widehat{\boldsymbol{\beta}}_{k+1}$ aus $\widehat{\boldsymbol{\beta}}_k$ wird die linke Seite ${\mathbf{U}}({\boldsymbol{\beta}})$ der Maximum-Likelihood-Gleichung (39) ersetzt durch
  • die ersten beiden Glieder ${\mathbf{U}}(\widehat{\boldsymbol{\beta}}_k)+{\mathbf{W}}(\widehat{\boldsymbol{\beta}}_k)({\boldsymbol{\beta}}- \widehat{\boldsymbol{\beta}}_k)$ der Taylor-Reihenentwicklung von ${\mathbf{U}}({\boldsymbol{\beta}})$ an der Stelle ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}_k$.
  • Die $(k+1)$-te Iteration $\widehat{\boldsymbol{\beta}}_{k+1}$ ist also Lösung der Gleichung

    $${\mathbf{U}}(\widehat{\boldsymbol{\beta}}_k)+{\mathbf{W}}(\wideha... ...bol{\beta}}_k)({\boldsymbol{\beta}}- \widehat{\boldsymbol{\beta}}_k)={\bf o} .$$ (42)

    
    

• Wenn die Matrix ${\mathbf{W}}(\widehat{\boldsymbol{\beta}}_k)$ invertierbar ist, dann ergibt sich aus (42), dass

  $$\widehat{\boldsymbol{\beta}}_{k+1}=\widehat{\boldsymbol{\beta}}_k... ...\widehat{\boldsymbol{\beta}}_k) {\mathbf{U}}(\widehat{\boldsymbol{\beta}}_k) ,$$ (43)

  
  

• Damit die so konstruierte Folge $\widehat{\boldsymbol{\beta}}_0,\widehat{\boldsymbol{\beta}}_1,\ldots$ gegen $\widehat{\boldsymbol{\beta}}$ konvergiert, muss $\widehat{\boldsymbol{\beta}}$ Lösung von (39) sein und der Startvektor $\widehat{\boldsymbol{\beta}}_0$ muss genügend nahe bei $\widehat{\boldsymbol{\beta}}$ liegen.

2.

Fisher-Scoring 

• Wir betrachten nun eine Variante des Newton-Verfahrens, die so genannte Scoring-Methode von Fisher, bei der die Hesse-Matrix ${\mathbf{W}}({\boldsymbol{\beta}})$ in (42) durch die Erwartungswertmatrix ${\mathbb{E} }{\mathbf{W}}({\boldsymbol{\beta}})$ ersetzt wird.
  • Dies hat den Vorteil, dass die $(m\times m)$-Matrix ${\mathbb{E} }{\mathbf{W}}({\boldsymbol{\beta}})$ invertierbar ist.
  • Aus den Theoremen 4.1 und 4.2 ergibt sich nämlich, dass
    

    $${\mathbb{E} }{\mathbf{W}}({\boldsymbol{\beta}}) \stackrel{(\ref{for.zwe.par})}{ =} {\mathbb{E} }\Bigl({\mathbf{X}}^\top{\mathbf{R}}({\boldsymbol{\b... ...\boldsymbol{\beta}})\bigr){\mathbf{X}}-{\mathbf{I}}({\boldsymbol{\beta}})\Bigr)$$

    $$= - {\mathbf{I}}({\boldsymbol{\beta}})$$

    $$\stackrel{(\ref{for.mat.fis})}{=} - {\mathbf{X}}^\top{\mathbf{V}}^{-1}({\boldsymbol{\beta}})\;\Big... ...ymbol{\mu}}}{d{\boldsymbol{\eta}}}({\boldsymbol{\beta}})\Bigr)^2{\mathbf{X}} ,$$

    
    
    wobei sich die zweite Gleichheit aus der Identität ${\mathbb{E} } Y_i=\mu_i({\boldsymbol{\beta}})$ ergibt.
  • Dabei ist der letzte Ausdruck eine invertierbare $(m\times m)$-Matrix, weil wir voraussetzen, dass die Designmatrix ${\mathbf{X}}$ vollen Spaltenrang hat und dass $(d\mu_i/d\eta_i)({\boldsymbol{\beta}})\not=0$ für jedes $i=1,\ldots,n$.
• Anstelle von (43) wird somit die folgende Iterationsgleichung betrachtet:

  $$\widehat{\boldsymbol{\beta}}_{k+1}=\widehat{\boldsymbol{\beta}}_k... ...{\mathbf{Y}}-{\boldsymbol{\mu}}(\widehat{\boldsymbol{\beta}}_k)\bigr)\Biggr) ,$$ (44)

  
  
  wobei
  $${\mathbf{Z}} ({\boldsymbol{\beta}})={\mathbf{V}}^{-1}({\boldsymbo... ...(\frac{d{\boldsymbol{\mu}}}{d{\boldsymbol{\eta}}}({\boldsymbol{\beta}})\Bigr)^2$$   und$$\qquad \Bigl(\frac{d{\boldsymbol{\eta}}}{d{\boldsymbol{\mu}}}\Big... ...d{\boldsymbol{\mu}}}{d{\boldsymbol{\eta}}}\Bigr)^{-1}({\boldsymbol{\beta}}) .$$

• Bei natürlicher Linkfunktion ergibt sich aus Lemma 4.2, dass
  $$\frac{d\mu_i}{d\eta_i}\;=\;b^{(2)}(\theta_i) \;=\;\frac{1}{\tau^2}\;\sigma_i^2$$   bzw.$$\qquad {\mathbf{Z}}({\boldsymbol{\beta}})\;=\;\frac{1}{\tau^4}\;{\mathbf{V}}({\boldsymbol{\beta}}) .$$

• In diesem Fall hat dann die Iterationsgleichung (44) die Form:
  $$\widehat{\boldsymbol{\beta}}_{k+1}=\widehat{\boldsymbol{\beta}}_k... ...{\mathbf{Y}}-{\boldsymbol{\mu}}(\widehat{\boldsymbol{\beta}}_k)\bigr)\Bigr) .$$

Beachte

 

• Wenn in (44) die Zufallsstichprobe ${\mathbf{Y}}$ durch die so genannte Pseudo-Zufallsstichprobe
  $${\mathbf{Y}} ({\boldsymbol{\beta}})={\mathbf{X}}{\boldsymbol{\bet... ...bol{\beta}}) \bigl({\mathbf{Y}}-{\boldsymbol{\mu}}({\boldsymbol{\beta}})\bigr)$$
  ersetzt wird, dann lässt sich die Iterationsgleichung (44) in der folgenden Form schreiben:
  $$\bigl({\mathbf{X}}^\top{\mathbf{Z}}(\widehat{\boldsymbol{\beta}}_... ...\widehat{\boldsymbol{\beta}}_k){\mathbf{Y}}(\widehat{\boldsymbol{\beta}}_k) .$$

• Diese Gleichung kann als gewichtete Normalengleichung für $\widehat{\boldsymbol{\beta}}_{k+1}$ bezüglich der Pseudo-Zufallsstichprobe ${\mathbf{Y}}(\widehat{\boldsymbol{\beta}}_k)$ aufgefasst werden, wobei die Gewichte, d.h., die Eintragungen der Diagonalmatrix ${\mathbf{Z}}(\widehat{\boldsymbol{\beta}}_k)$ ebenfalls von der $k$-ten Iteration $\widehat{\boldsymbol{\beta}}_k$ abhängen.