Fisher-Informationsmatrix und zentraler Grenzwertsatz im vergröberten Modell

• Wir kehren nun zu dem ,,vergröberten'' Modell zurück, das bereits in Abschnitt 5.3.1 betrachtet wurde.
  • Dabei setzen wir voraus, dass die Likelihood-Funktion $L:\mathbb{R}\times\Theta\to(0,1)$ mit

    $$L(x;{\boldsymbol{\theta}})= p_j({\boldsymbol{\theta}}) , \mbox{wenn $x\in(a_j,b_j]$,}$$ (61)

    
    

  • wobei die Wahrscheinlichkeiten $p_j({\boldsymbol{\theta}})=\mathbb{P}_{\boldsymbol{\theta}}(a_j<X_1\le b_j)$ positiv und kleiner als $1$ seien.
• Über die in (61) gegebene Likelihood-Funktion setzen wir außerdem voraus, dass die in Abschnitt 5.3.2 formulierten Regularitätsbedingungen erfüllt sind.

Lemma 5.6   $\;$ Für die Fisher-Informationsmatrix ${\mathbf{I}}({\boldsymbol{\theta}})$ gilt dann

$${\mathbf{I}}({\boldsymbol{\theta}})={\mathbf{C}}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}}) ,$$ (62)

wobei

$${\mathbf{C}}({\boldsymbol{\theta}})=\left(\begin{array}{cccc} \di... ...)/\partial\theta_m}{\sqrt{p_r({\boldsymbol{\theta}})}}\ \end{array}\right) .$$ (63)

Beweis

 

• Wegen (61) gilt für jedes $x\in\mathbb{R}$
  $$\log L(x;{\boldsymbol{\theta}})=\sum\limits_{j=1}^r {1\hspace{-1mm}{\rm I}}_{\{a_j<x\le b_j\}}\log p_j({\boldsymbol{\theta}}) .$$

• Hieraus ergibt sich für die Eintragungen $I_{ij}({\boldsymbol{\theta}})$ von ${\mathbf{I}}({\boldsymbol{\theta}})$, dass
  

  $$I_{ij}({\boldsymbol{\theta}}) = {\mathbb{E} }_{\boldsymbol{\theta}}\Bigl( \frac{\partial}{\parti... ...partial\theta_j}\log p_k({\boldsymbol{\theta}})\Bigr)p_k({\boldsymbol{\theta}})$$

  $$= \sum\limits_{k=1}^r\Bigl(\frac{\partial}{\partial\theta_i} p_k(... ...}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})\Bigr)_{ij} .$$

  
  
  
   
    $\Box$
  
  
  

Aus Theorem 5.8 ergibt sich somit das folgende Resultat.

Korollar 5.1   $\;$ Wenn die in $(\ref{def.matr.beh})$ gegebene Matrix ${\mathbf{I}}({\boldsymbol{\theta}})={\mathbf{C}}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})$ für jedes ${\boldsymbol{\theta}}\in\Theta$ positiv definit ist, dann gilt

$$\sqrt{n}\bigl(\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)-{\bol... ...\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}\bigr)$$ (64)

für jede schwach konsistente Folge $\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n), n\ge 1\}$ von Maximum-Likelihood-Schätzern für ${\boldsymbol{\theta}}$, die durch die Beobachtung des ,,vergröberten'' Modells gewonnen werden.

Beachte

 

• Aus (61) ergibt sich für die Likelihood-Funktion $L(x_1,\ldots,x_n;{\boldsymbol{\theta}})$, dass
  $$L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\prod\limits_{j=1}^r p_j({\boldsymbol{\theta}})^{Z_j(x_1,\ldots,x_n)} ,$$
  bzw. für die Loglikelihood-Funktion $\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})$, dass

  $$\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\sum\limits_{j=1}^r Z_j(x_1,\ldots,x_n)\log p_j({\boldsymbol{\theta}}) .$$ (65)

  
  

• Jede Maximum-Likelihood-Schätzung $\widehat{\boldsymbol{\theta}} =\widehat{\boldsymbol{\theta}}\bigl(Z_1(x_1,\ldots,x_n),\ldots,Z_r(x_1,\ldots,x_n)\bigr)$ für ${\boldsymbol{\theta}}$, die aus den vergröberten Daten $Z_1(x_1,\ldots,x_n),\ldots,Z_r(x_1,\ldots,x_n)$ gewonnen wird, genügt wegen der obengenannten Regularitätsbedingungen dem Gleichungssystem

  $$\frac{\partial\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})}{\partial\theta_i} =0 ,\qquad\forall i=1,\ldots,m .$$ (66)

  
  

• Dabei ergibt sich aus (65), dass für beliebige $i=1,\ldots,m$ und ${\boldsymbol{\theta}}\in\Theta$
  $$\frac{\partial\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})}{\part... ...mbol{\theta}})}\; \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i}$$
  bzw.

  $$\frac{\partial\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})}{\part... ...ol{\theta}})}\; \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i} ,$$ (67)

  
  
  wobei sich die letzte Gleichheit aus der Tatsache ergibt, dass

  $$\sum\limits_{j=1}^r \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i}=0 ,\qquad\forall i=1,\ldots,m .$$ (68)