Loglikelihood-Funktion und ihre partiellen Ableitungen

• Aus (2) - (3) bzw. aus (11) ergibt sich, dass die Loglikelihood-Funktion $\log L({\mathbf{Y}},{\boldsymbol{\theta}})$ der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ als eine Funktion $\log L({\mathbf{Y}},{\boldsymbol{\beta}})$ von ${\boldsymbol {\beta }}$ geschrieben werden kann.
  • Und zwar folgt aus (2) - (3), dass

    $$\log L({\mathbf{Y}},{\boldsymbol{\theta}})=\sum_{i=1}^n\;\frac{1}{\tau^2}\;\bigl(Y_i \theta_i +a(Y_i,\tau)-b (\theta_i)\bigr) .$$ (23)

    
    

  • Hieraus und aus (11) ergibt sich nun, dass

    $$\log L({\mathbf{Y}},{\boldsymbol{\beta}})=\sum_{i=1}^n\;\frac{1}{... ...\bigl(\psi\bigl(h({\mathbf{x}}_i^\top{\boldsymbol{\beta}})\bigr)\bigr)\Bigr) .$$ (24)

    
    

• Für verallgemeinerte lineare Modelle mit natürlicher Linkfunktion ergibt sich aus (13) und (23), dass

  $$\log L({\mathbf{Y}},{\boldsymbol{\beta}})=\sum_{i=1}^n\;\frac{1}{... ...ta}} +a(Y_i,\tau)-b\bigl({\mathbf{x}}_i^\top{\boldsymbol{\beta}}\bigr)\bigr) .$$ (25)

  
  

Zur Bestimmung von Maximum-Likelihood-Schätzern ist die Kenntnis der so genannten Scorefunktionen, d.h. der partiellen Ableitungen der Loglikelihood-Funktion, sowie der Fisher-Informationsmatrix nützlich, die wie folgt definiert ist.

Definition

$\;$ Für beliebige $i,j=1,\ldots,m$ sei

$$U_i({\boldsymbol{\beta}})=\;\frac{\partial}{\partial\beta_i}\;\log L({\mathbf{Y}},{\boldsymbol{\beta}})$$   und$$\qquad I_{ij}({\boldsymbol{\beta}})={\mathbb{E} }\bigl(U_i({\boldsymbol{\beta}})U_j({\boldsymbol{\beta}})\bigr) .$$

Dann wird der $m$-dimensionale Zufallsvektor ${\mathbf{U}}({\boldsymbol{\beta}})=\bigl(U_1({\boldsymbol{\beta}}),\ldots,U_m({\boldsymbol{\beta}})\bigr)^\top$ bzw. die (deterministische) $m\times m$-Matrix ${\mathbf{I}}({\boldsymbol{\beta}})=\bigl(I_{ij}({\boldsymbol{\beta}})\bigr)$ der Scorevektor bzw. die Fisher-Informationsmatrix genannt.

Mit der Schreibweise

$$\frac{d\mu_i}{d\eta_i}({\boldsymbol{\beta}})\;=\;\frac{dh(s)}{ds}... ..._{s=\eta_i} \;=\; {\Bigl(\frac{dg(t)}{dt}\Bigr)^{-1}}\bigl\vert _{ t=h(\eta_i)}$$ (26)

ergibt sich das folgende Resultat.

Theorem 4.1   $\;$ Für beliebige $j,k=1,\ldots,m$ gilt

$$U_j({\boldsymbol{\beta}})=\sum_{i=1}^nx_{ij}\bigl(Y_i-\mu_i({\bol... ...u_i}{d\eta_i}({\boldsymbol{\beta}})\;\frac{1}{\sigma_i^2({\boldsymbol{\beta}})}$$ (27)

und

$$I_{jk}({\boldsymbol{\beta}})=\sum_{i=1}^nx_{ij}x_{ik}\Bigl(\frac{... ...a_i}({\boldsymbol{\beta}})\Bigr)^2 \;\frac{1}{\sigma_i^2({\boldsymbol{\beta}})}$$ (28)

bzw. in Matrix-Schreibweise

$${\mathbf{U}}({\boldsymbol{\beta}})={\mathbf{X}}^\top{\mathbf{V}}^... ...{\boldsymbol{\beta}})\; ({\mathbf{Y}}-{\boldsymbol{\mu}}({\boldsymbol{\beta}})) \qquad {\mathbf{I}}({\boldsymbol{\beta}})={\mathbf{X}}^\top{\math... ...ol{\mu}}}{d{\boldsymbol{\eta}}}({\boldsymbol{\beta}})\Bigr)^2\; {\mathbf{X}} ,$$ (29)

wobei

$${\mathbf{V}}({\boldsymbol{\beta}})\;=\;{\rm diag}\bigl(\sigma_i^2... ...a}})\;=\;{\rm diag}\Bigl(\frac{d\mu_i}{d\eta_i}({\boldsymbol{\beta}})\Bigr) .$$

Beweis

 

• Die in (23) bzw. (24) gegebene Loglikelihood-Funktion lässt sich in der Form
  $$\log L({\mathbf{Y}},{\boldsymbol{\beta}})=\sum_{i=1}^n\;\frac{1}{\tau^2}\;\ell^{(i)}(\theta_i)$$
  schreiben, wobei $\ell^{(i)}(\theta_i)=Y_i \theta_i +a(Y_i,\tau)-b (\theta_i)$ und $\theta_i=\psi\bigl(h({\mathbf{x}}_i^\top{\boldsymbol{\beta}})\bigr)$.
• Somit gilt für jedes $j=1,\ldots,m$, dass

  $$U_j({\boldsymbol{\beta}})=\sum_{i=1}^n \;\frac{1}{\tau^2}\;\frac{\partial \ell^{(i)}}{\partial\beta_j}(\theta_i) ,$$ (30)

  
  
  wobei sich durch die mehrfache Anwendung der Kettenregel ergibt, dass

  $$\frac{\partial \ell^{(i)}}{\partial\beta_j}\;=\; \frac{\partial \... ...\frac{\partial\mu_i}{\partial\eta_i}\;\frac{\partial\eta_i}{\partial\beta_j}\;.$$ (31)

  
  
  • Andererseits gilt offenbar, dass $\partial\eta_i/\partial\beta_j=x_{ij}$, und aus Lemma 4.2 ergibt sich, dass
    $$\frac{\partial \ell^{(i)}}{\partial\... ...;=\;Y_i-b^{(1)}(\theta_i) \stackrel{{\rm Lemma~\ref{lem.kon.mom}}}{=}Y_i-\mu_i$$
    bzw.
    $$\Bigl(\frac{\partial\theta_i}{\parti... ...;\stackrel{{\rm Lemma~\ref{lem.kon.mom}}}{=}\;\frac{1}{\tau^2}\; \sigma_i^2\,.$$

  • Hieraus und aus (30) - (31) ergibt sich die Gültigkeit von (27).
• Um (28) zu zeigen, genügt es zu beachten, dass für beliebige $i,j=1,\ldots,n$
  $${\mathbb{E} }\bigl((Y_i-\mu_i)(Y_j-\mu_j)\bigr)=\left\{\begin{ar... ..._i^2 &\mbox{für $i=j$,} [3\jot] 0 &\mbox{für $i\not=j$.} \end{array}\right.$$
  wegen der Unabhängigkeit der Stichprobenvariablen $Y_1,\ldots,Y_n$.
  • Hieraus und aus (27) ergibt sich, dass
    

    $$I_{jk}({\boldsymbol{\beta}}) = {\mathbb{E} }\bigl(U_j({\boldsymbol{\beta}})U_k({\boldsymbol{\be... ...c{1}{\sigma_i^4({\boldsymbol{\beta}})}\;{\mathbb{E} }\bigl((Y_i-\mu_i)^2\bigr)$$

    $$= \sum_{i=1}^nx_{ij}x_{ik}\Bigl(\frac{d\mu_i}{d\eta_i}({\boldsymbol{\beta}})\Bigr)^2 \;\frac{1}{\sigma_i^2({\boldsymbol{\beta}})}\;.$$

    
    

  • Damit ist (28) bewiesen.
    
    $\Box$

Korollar 4.1     Sei $\bigl(g({\mathbb{E} }Y_1),\ldots,g({\mathbb{E} }Y_n)\bigr)^\top={\mathbf{X}}{\boldsymbol{\beta}}$ ein GLM mit natürlicher Linkfunktion $g:G\to\mathbb{R}$. Dann gilt für beliebige $j,k=1,\ldots,m$

$$U_j({\boldsymbol{\beta}})=\frac{1}{\tau^2}\;\sum_{i=1}^nx_{ij}\bigl(Y_i-\mu_i({\boldsymbol{\beta}})\bigr) \qquad {\mathbf{U}}({\boldsymbol{\beta}})=\frac{1}{\tau^2}\;{\mathbf{X}}^\top({\mathbf{Y}}-{\boldsymbol{\mu}}({\boldsymbol{\beta}}))$$ (32)

und

$$I_{jk}({\boldsymbol{\beta}})=\frac{1}{\tau^4}\;\sum_{i=1}^nx_{ij}x_{ik}\sigma_i^2({\boldsymbol{\beta}}) \qquad {\mathbf{I}}({\boldsymbol{\beta}})=\frac{1}{\tau^4}\;{\mathbf{X}}^\top{\mathbf{V}}({\boldsymbol{\beta}}){\mathbf{X}} .$$ (33)

Beweis

$\;$ Weil $g:G\to\mathbb{R}$ eine natürliche Linkfunktion ist, gilt $\theta_i=\eta_i$ für jedes $i=1,\ldots,n$. Hieraus und aus Lemma 4.2 ergibt sich, dass

$$\frac{d\mu_i}{d\eta_i}\;=\;b^{(2)}(\theta_i)\;=\;\frac{1}{\tau^2}\;\sigma_i^2 .$$

Die Behauptung ergibt sich somit aus Theorem 4.1.

$\Box$