Multivariater zentraler Grenzwertsatz für ML-Schätzer

Ähnlich wie in Abschnitt I-2.4.2, wo der Fall $m=1$ betrachtet wurde, lässt sich ein multivariater zentraler Grenzwertsatz für konsistente Folgen von Maximum-Likelihood-Schätzern des Parametervektors ${\boldsymbol{\theta}}$ herleiten.

Dabei werden die folgenden Regularitätsbedingungen benötigt.

• Die Familie $\{P_{\boldsymbol{\theta}},{\boldsymbol{\theta}}\in\Theta\}$ bestehe entweder nur aus diskreten Verteilungen oder nur aus absolutstetigen Verteilungen, wobei $\Theta\subset\mathbb{R}^m$ eine offene Menge sei.
• Es gelte
  $$P_{\boldsymbol{\theta}}\not=P_{{\boldsymbol{\theta}}^\prime}$$   genau dann, wenn$$\qquad {\boldsymbol{\theta}}\not={\boldsymbol{\theta}}^\prime .$$

• Die Menge $B=\{x\in\mathbb{R}:L(x;{\boldsymbol{\theta}})>0\}$ hänge nicht von ${\boldsymbol{\theta}}\in\Theta$ ab, wobei die Likelihood-Funktion $L(x;{\boldsymbol{\theta}})$ gegeben ist durch
  $$L(x;{\boldsymbol{\theta}})=\left\{\begin{array}{ll} p(x;{\boldsym... ...f(x;{\boldsymbol{\theta}}) & \mbox{im absolutstetigen Fall} \end{array}\right.$$
  und $p(x;{\boldsymbol{\theta}})$ bzw. $f(x;{\boldsymbol{\theta}})$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $P_{\boldsymbol{\theta}}$ ist.
• Außerdem sei die Abbildung ${\boldsymbol{\theta}}\to L(x;{\boldsymbol{\theta}})$ für jedes $x\in B$ dreimal stetig differenzierbar, und für jedes $x\in B$ gelte

  $$\frac{\partial^k}{\partial\theta_{i_1}\ldots\partial\theta_{i_k}}... ..._1} \ldots\partial\theta_{i_k}}\;L(x;{\boldsymbol{\theta}}) dx \qquad\forall \mbox{$k\in\{1,2,3\}$, $i_1,\ldots,i_k\in\{1,\ldots,m\}$, ${\boldsymbol{\theta}}\in\Theta$,}$$ (54)

  
  
  wobei die Integrale im diskreten Fall durch die entsprechenden Summen zu ersetzen sind.
• Für jedes ${\boldsymbol{\theta}}_0\in\Theta$ gebe es eine Konstante $c_{{\boldsymbol{\theta}}_0}>0$ und eine messbare Funktion $g_{{\boldsymbol{\theta}}_0}:B\to[0,\infty)$, so dass für jedes Tripel $(i_1,i_2,i_3)\in\{1,\ldots,m\}^3$

  $$\Bigl\vert\frac{\partial^3}{\partial\theta_{i_1} \partial\theta_{... ...boldsymbol{\theta}})\Bigr\vert\le g_{{\boldsymbol{\theta}}_0}(x)\qquad\forall \mbox{$x\in B$, $\;\;\forall\,{\bold... ...\boldsymbol{\theta}}-{\boldsymbol{\theta}}_0\vert<c_{{\boldsymbol{\theta}}_0}$}$$ (55)

  
  
  und

  $${\mathbb{E} }_{{\boldsymbol{\theta}}_0} g_{{\boldsymbol{\theta}}_0}(X_1)<\infty .$$ (56)

  
  

Beachte

 

• Zur Erinnerung :
  • Im Allgemeinen wird der Maximum-Likelihood-Schätzer $\widehat{\boldsymbol{\theta}}=\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)$ für ${\boldsymbol{\theta}}$ als Lösung des folgenden Optimierungsproblems definiert (vgl. Abschnitt I-2.2.2).
  • Dabei ist $\widehat{\boldsymbol{\theta}}:\mathbb{R}^n\to\Theta\subset\mathbb{R}^m$ eine Stichprobenfunktion mit

    $$L(x_1,\ldots,x_n;{\boldsymbol{\theta... ...qquad \forall\,(x_1,\ldots,x_n)\in\mathbb{R}^n,\,{\boldsymbol{\theta}}\in\Theta$$ (57)

    
    
    und
    $$L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\left\{\begin{array}{ll} ... ..._n;{\boldsymbol{\theta}}) & \mbox{im absolutstetigen Fall.} \end{array}\right.$$

• Unter den obengenannten Regularitätsbedingungen kann man zeigen, dass $\widehat{\boldsymbol{\theta}}(x_1,\ldots,x_n)$ für beliebige $x_1,\ldots,x_n\in\mathbb{R}$ dem folgenden Gleichungssystem genügt:

  $$\frac{\partial}{\partial\theta_i}\;L\bigl(x_1,\ldots,x_n; \widehat{\boldsymbol{\theta}}(x_1,\ldots,x_n)\bigr)=0\qquad\forall i=1,\ldots,m .$$ (58)

  
  

• Um den multivariaten zentralen Grenzwertsatz formulieren zu können, benötigen wir den Begriff der Fischer-Informationsmatrix, der bereits in Abschnitt 4.3.1 eingeführt wurde.
  • Für jedes ${\boldsymbol{\theta}}\in\Theta$ wird dabei die $m\times m$ Matrix ${\mathbf{I}}({\boldsymbol{\theta}})=(I_{ij}({\boldsymbol{\theta}}))$ betrachtet mit

    $$I_{ij}({\boldsymbol{\theta}})={\mathbb{E} }_{\boldsymbol{\theta}... ... \frac{\partial}{\partial\theta_j} \log L(X_1;{\boldsymbol{\theta}}) \Bigr) .$$ (59)

    
    

  • wobei vorausgesetzt wird, dass der Erwartungswert in (59) für beliebige $i,j\in\{1,\ldots,m\}$ existiert (und eine endliche reelle Zahl ist).

In Verallgemeinerung von Theorem I-2.11, wo der 1-dimensionale Fall betrachtet wurde, lässt sich für schwach konsistente Folgen von Maximum-Likelihood-Schätzern $\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n), n\ge 1\}$ des Parametervektors ${\boldsymbol{\theta}}$, die dem Gleichungssystem (58) genügen, der folgende multivariate zentrale Grenzwertsatz herleiten.

Theorem 5.8    

• Die Fisher-Informationsmatrix ${\mathbf{I}}({\boldsymbol{\theta}})$ sei für jedes ${\boldsymbol{\theta}}\in\Theta$ positiv definit (und damit invertierbar), und sei $\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n), n\ge 1\}$ eine schwach konsistente Folge von Maximum-Likelihood-Schätzern für ${\boldsymbol{\theta}}$.
• Dann gilt für $n\to\infty$

  $$\sqrt{n}\bigl(\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)-{\bol... ...w} {\rm N}\bigl({\mathbf{o}},{\mathbf{I}}^{-1}({\boldsymbol{\theta}})\bigr) .$$ (60)

  
  

Der Beweis von Theorem 5.8 verläuft ähnlich wie der Beweis von Theorem I-2.11. Er wird deshalb hier weggelassen, vgl. beispielsweise E.L. Lehmann und G. Casella (1998) The Theory of Point Estimation, Springer-Verlag, New York.