Hesse-Matrix

Neben dem (Score-) Vektor ${\mathbf{U}}({\boldsymbol{\beta}})$ der ersten partiellen Ableitungen der Loglikelihood-Funktion $\log L({\mathbf{Y}},{\boldsymbol{\beta}})$ wird auch ihre Hesse-Matrix, d.h., die $m\times m$-Matrix

$${\mathbf{W}}({\boldsymbol{\beta}})\;=\;\bigl(W_{ij}({\boldsymbol{... ...rtial\beta_i\partial\beta_j}\;\log L({\mathbf{Y}},{\boldsymbol{\beta}})\Biggr)$$

der zweiten partiellen Ableitungen benötigt.

Theorem 4.2    

• Für jedes GLM gilt

  $${\mathbf{W}}({\boldsymbol{\beta}})={\mathbf{X}}^\top{\mathbf{R}}(... ...i({\boldsymbol{\beta}})\bigr){\mathbf{X}}-{\mathbf{I}}({\boldsymbol{\beta}}) ,$$ (34)

  
  
  wobei ${\mathbf{I}}({\boldsymbol{\beta}})$ die in $(\ref{for.mat.fis})$ gegebene Fisher-Informationsmatrix und ${\mathbf{R}}({\boldsymbol{\beta}})={\rm diag}\bigl(v_i({\boldsymbol{\beta}})\bigr)$ eine $(n\times n)$-Diagonalmatrix ist mit
  $$v_i({\boldsymbol{\beta}})\;=\;\frac{1}{\tau^2}\;\frac{d^2u(s)}{ds^2}\bigl\vert _{s={\mathbf{x}}_i^\top{\boldsymbol{\beta}}}$$   und$$\qquad u=\psi\circ h .$$

• Für GLM mit natürlicher Linkfunktion gilt insbesondere

  $${\mathbf{W}}({\boldsymbol{\beta}})= -{\mathbf{I}}({\boldsymbol{\beta}}) .$$ (35)

  
  

Beweis

 

• Aus Formel (27) in Theorem 4.1 ergibt sich, dass für beliebige $j,k=1,\ldots,m$
  

  $$W_{jk}({\boldsymbol{\beta}}) = \frac{\partial}{\partial\beta_k}\;U_... ...u_i}{d\eta_i}({\boldsymbol{\beta}})\;\frac{1}{\sigma_i^2({\boldsymbol{\beta}})}$$

  $$= \sum_{i=1}^nx_{ij}\Biggl(\bigl(Y_i-\mu_i({\boldsymbol{\beta}})\bi... ...a}})}\; \frac{\partial\mu_i}{\partial\beta_k}\;({\boldsymbol{\beta}})\Biggr) .$$

  
  
  • Dabei ergibt sich mit der Schreibweise $\eta_i={\mathbf{x}}_i^\top{\boldsymbol{\beta}}$ aus Lemma 4.2, dass
    $$\frac{d\mu_i}{d\eta_i}({\boldsymbol{\beta}})\;\frac{1}{\sigma_i^2... ...(\psi\circ h(\eta_i)\bigr)}\;=\; \frac{1}{\tau^2}\;(\psi\circ h)^{(1)}(\eta_i)$$
    und somit
    $$\frac{\partial}{\partial\beta_k} \Bigl(\frac{d\mu_i}{d\eta_i}({\b... ...l{\beta}})}\Bigr)\;=\; \frac{1}{\tau^2}\;(\psi\circ h)^{(2)}(\eta_i) x_{ik} .$$

  • Außerdem gilt
    $$\frac{\partial\mu_i}{\partial\beta_k}\; =\;\frac{d\mu_i}{d\eta_i}\;\frac{\partial\eta_i}{\partial\beta_k}\;.$$

• Insgesamt ergibt sich also, dass
  $$W_{jk}({\boldsymbol{\beta}}) \;=\; \sum_{i=1}^n x_{ij}x_{ik}(Y_i-... ...1}^n x_{ij}x_{ik}\Bigl(\frac{d\mu_i}{d\eta_j}\Bigr)^2\;\frac{1}{\sigma_i^2}\;.$$

• Hieraus und aus der Darstellungsformel (29) für die Fisher-Informationsmatrix ${\mathbf{I}}({\boldsymbol{\beta}})$ ergibt sich (34).
• Weil für GLM mit natürlicher Linkfunktion die Superposition $u=\psi\circ h$ die Identitätsabbildung ist, gilt in diesem Fall ${\mathbf{R}}({\boldsymbol{\beta}})={\bf0}$. Somit ergibt sich (35) aus (34).
  
  $\Box$

Beachte

$\;$ Für die Beispiele von GLM, die in Abschnitt 4.2 betrachtet worden sind, ergeben sich aus den Theoremen 4.1 und 4.2 bzw. aus Korollar 4.1 die folgenden Formeln für ${\mathbf{U}}({\boldsymbol{\beta}})$ und ${\mathbf{W}}({\boldsymbol{\beta}})$.

1.

Für das lineare Modell ${\mathbb{E} }{\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}$ mit normalverteilten Stichprobenvariablen (und mit der Linkfunktion $g(x)=x$) ist $(d{\boldsymbol{\mu}}/d{\boldsymbol{\eta}})({\boldsymbol{\beta}})$ die Einheitsmatrix. Somit gilt

$${\mathbf{U}}({\boldsymbol{\beta}})\;=\;\frac{1}{\sigma^2}\;{\math... ...boldsymbol{\beta}})\;=\;-\;\frac{1}{\sigma^2}\;{\mathbf{X}}^\top{\mathbf{X}} ,$$ (36)

vgl. auch Abschnitt 2.2.

2.

Für das logistische Regressionsmodell (mit der natürlichen Linkfunktion) gilt

$${\mathbf{U}}({\boldsymbol{\beta}})\;={\mathbf{X}}^\top({\mathbf{Y... ...ta}})\;=\;-{\mathbf{X}}^\top{\rm diag}\bigl(\pi_i(1-\pi_i)\bigr){\mathbf{X}} ,$$ (37)

wobei ${\boldsymbol{\pi}}=(\pi_1,\ldots,\pi_n)^\top$ und die Wahrscheinlichkeiten $\pi_i$ so wie in (20) durch ${\boldsymbol {\beta }}$ ausgedrückt werden können.

3.

Für Poisson-verteilte Stichprobenvariablen mit natürlicher Linkfunktion gilt

$${\mathbf{U}}({\boldsymbol{\beta}})\;={\mathbf{X}}^\top({\mathbf{Y... ...{\beta}})\;=\;-{\mathbf{X}}^\top{\rm diag}\bigl(\lambda_i)\bigr){\mathbf{X}} ,$$ (38)

wobei ${\boldsymbol{\lambda}}=(\lambda_1,\ldots,\lambda_n)^\top$ und $\lambda_i=e^{{\mathbf{x}}_i^\top{\boldsymbol{\beta}}}$.