Asymptotische Normalverteiltheit von Maximum-Likelihood-Schätzern

Ähnlich wie in Abschnitt I.2.4.2, wo der Fall $m=1$ betrachtet wurde, läßt sich ein multivariater zentraler Grenzwertsatz für konsistente Folgen von Maximum-Likelihood-Schätzern des Parametervektors ${\boldsymbol{\theta}}$ herleiten.

Dabei werden die folgenden Regularitätsbedingungen benötigt.

• Die Familie $\{P_{\boldsymbol{\theta}},{\boldsymbol{\theta}}\in\Theta\}$ bestehe entweder nur aus diskreten Verteilungen oder nur aus absolutstetigen Verteilungen, wobei $\Theta\subset\mathbb{R}^m$ eine offene Menge sei.
• Es gelte
  $$P_{\boldsymbol{\theta}}\not=P_{{\boldsymbol{\theta}}^\prime}$$   genau dann, wenn$$\qquad {\boldsymbol{\theta}}\not={\boldsymbol{\theta}}^\prime\,.$$

• Die Menge $B=\{x\in\mathbb{R}:L(x;{\boldsymbol{\theta}})>0\}$ hänge nicht von ${\boldsymbol{\theta}}\in\Theta$ ab, wobei die Likelihood-Funktion $L(x;{\boldsymbol{\theta}})$ gegeben ist durch
  $$L(x;{\boldsymbol{\theta}})=\left\{\begin{array}{ll} p(x;{\boldsym... ...x;{\boldsymbol{\theta}}) & \mbox{im absolutstetigen Fall} \end{array}\right.$$
  und $p(x;{\boldsymbol{\theta}})$ bzw. $f(x;{\boldsymbol{\theta}})$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $P_{\boldsymbol{\theta}}$ ist.
• Außerdem sei die Abbildung ${\boldsymbol{\theta}}\to L(x;{\boldsymbol{\theta}})$ für jedes $x\in B$ dreimal stetig differenzierbar, und für jedes $x\in B$ gelte

  $$\frac{\partial^k}{\partial\theta_{i_1}\ldots\partial\theta_{i_k}}... ... \ldots\partial\theta_{i_k}}\;L(x;{\boldsymbol{\theta}})\,dx\,, \qquad\forall\, \mbox{$k\in\{1,2,3\}$, $i_1,\ldots,i_k\in\{1,\ldots,m\}$, ${\boldsymbol{\theta}}\in\Theta$,}$$ (24)

  
  
  wobei die Integrale im diskreten Fall durch die entsprechenden Summen zu ersetzen sind.
• Für jedes $\theta_0\in\Theta$ und gebe es eine Konstante $c_{\theta_0}>0$ und eine meßbare Funktion $g_{\theta_0}:B\to[0,\infty)$, so daß für jedes Tripel $(i_1,i_2,i_3)\in\{1,\ldots,m\}^3$

  $$\Bigl\vert\frac{\partial^3}{\partial\theta_{i_1} \partial\theta_{... ...;\log L(x;{\boldsymbol{\theta}})\Bigr\vert\le g_{\theta_0}(x)\,,\qquad\forall\, \mbox{$x\in B$\ und $\forall\,{\bold... ...theta}}\in\Theta$\ mit $\vert{\boldsymbol{\theta}}-\theta_0\vert<c_{\theta_0}$}$$ (25)

  
  
  und

  $${\mathbb{E}\,}_{\theta_0} g_{\theta_0}(X_1)<\infty\,.$$ (26)

  
  

Beachte

 

• Zur Erinnerung: Der Begriff des Maximum-Likelihood-Schätzers wurde bereits in der Vorlesung ,,Statistik I'' eingeführt, vgl. Abschnitt I.2.2.2. Und zwar $\widehat{\boldsymbol{\theta}}:\mathbb{R}^n\to\Theta\subset\mathbb{R}^m$ eine Stichprobenfunktion mit

  $$L(x_1,\ldots,x_n;{\boldsymbol{\theta... ...uad \forall\,(x_1,\ldots,x_n)\in\mathbb{R}^n,\,{\boldsymbol{\theta}}\in\Theta\,$$ (27)

  
  
  wobei
  $$L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\left\{\begin{array}{ll} ... ...{\boldsymbol{\theta}}) & \mbox{im absolutstetigen Fall.} \end{array}\right.$$

• Der Zufallsvektor $\widehat{\boldsymbol{\theta}}=\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)^\top$ wird dann Maximum-Likelihood-Schätzer für ${\boldsymbol{\theta}}$ genannt.
• Unter den obengenannten Regularitätsbedingungen genügt der Maximum-Likelihood-Schätzer $\widehat{\boldsymbol{\theta}}$ für beliebige $(x_1,\ldots,x_n)\in\mathbb{R}^n$ dem Gleichungssystem
  $$\frac{\partial}{\partial\theta_i}L(x_1,\ldots,x_n; \widehat{\boldsymbol{\theta}}(x_1,\ldots,x_n)))=0\,,\qquad\forall\, i=1,\ldots,m\,.$$

Um den multivariaten zentralen Grenzwertsatz formulieren zu können, verallgemeinern wir noch den Begriff der Fischer-Information, die für 1-dimensionale Parameter bereits in Abschnitt I.2.3.2 eingeführt wurde.

Definition

$\;$ Für jedes ${\boldsymbol{\theta}}\in\Theta$ wird die $m\times m$ Matrix $I({\boldsymbol{\theta}})=(I_{i_1i_2}({\boldsymbol{\theta}}))$ mit

$$I_{i_1i_2}({\boldsymbol{\theta}})={\mathbb{E}\,}_{\boldsymbol{\th... ...ac{\partial}{\partial\theta_{i_2}}\,\log L(X_1;{\boldsymbol{\theta}}) \Bigr)\,,$$ (28)

Fisher-Informationsmatrix genannt, wobei vorausgesetzt wird, daß der Erwartungswert in (28) für beliebige $i_1,i_2\in\{1,\ldots,m\}$ wohldefiniert und endlich ist.

In Verallgemeinerung von Theorem I.2.11, wo der 1-dimensionale Fall betrachtet wurde, läßt sich sich der folgende multivariate zentrale Grenzwertsatz für konsistente Folgen von Maximum-Likelihood-Schätzern des Parametervektors ${\boldsymbol{\theta}}$ herleiten.

Theorem 5.2    

• Die (symmetrische und nichtnegativ definite) Fisher-Informationsmatrix $I({\boldsymbol{\theta}})$ sei für jedes ${\boldsymbol{\theta}}\in\Theta$ positiv definit.
• Für jede schwach konsistente Folge $\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n),\, n\ge 1\}$ von Maximum-Likelihood-Schätzern für ${\boldsymbol{\theta}}$ gilt dann

  $$\sqrt{n}\bigl(\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)-{\bol... ...ngrightarrow}\,{\rm N}\bigl({\mathbf{o}},I^{-1}({\boldsymbol{\theta}})\bigr)\,.$$ (29)

  
  

Der Beweis von Theorem 5.2 verläuft ähnlich wie der Beweis von Theorem I.2.11 und wird deshalb hier weggelassen, vgl. beispielsweise E.L. Lehmann und G. Casella (1998) The Theory of Point Estimation, Springer-Verlag, New York.

Wir kehren nun zu dem ,,vergröberten'' Modell zurück, das in Abschnitt 5.2.1 betrachtet wurde. Dabei setzen wir voraus, daß die entsprechende Likelihood-Funktion $L:\mathbb{R}\times\Theta\to[0,1]$ mit

$$L(x;{\boldsymbol{\theta}})= p_j({\boldsymbol{\theta}})\,, \mbox{falls $x\in(a_j,b_j]$,}$$ (30)

die obengenannten Regularitätsbedingungen erfüllt, wobei $p_j({\boldsymbol{\theta}})=\mathbb{P}_{\boldsymbol{\theta}}(a_j<X_1\le b_j)$.

Lemma 5.5   $\;$ Für die Fisher-Informationsmatrix $I({\boldsymbol{\theta}})$ gilt dann

$$I({\boldsymbol{\theta}})={\mathbf{C}}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})\,,$$ (31)

wobei

$${\mathbf{C}}({\boldsymbol{\theta}})=\left(\begin{array}{cccc} \di... ...)/\partial\theta_m}{\sqrt{p_r({\boldsymbol{\theta}})}}\\ \end{array}\right)\,.$$ (32)

Beweis

 

• Für jedes $x\in\mathbb{R}$ gilt
  $$\log L(x;{\boldsymbol{\theta}})=\sum\limits_{j=1}^r {1\hspace{-1mm}{\rm I}}_{\{a_j<x\le b_j\}}\log p_j({\boldsymbol{\theta}})\,.$$

• Hieraus ergibt sich für die Eintragungen $I_{i_1i_2}({\boldsymbol{\theta}})$ von $I({\boldsymbol{\theta}})$, daß
  

  $$I_{i_1i_2}({\boldsymbol{\theta}}) = {\mathbb{E}\,}_{\boldsymbol{\theta}}\Bigl( \frac{\partial}{\parti... ...\frac{\partial}{\partial\theta_{i_2}}\,\log L(X_1;{\boldsymbol{\theta}}) \Bigr)$$

  $$= \sum\limits_{j=1}^r\Bigl(\frac{\partial}{\partial\theta_{i_1}}\,\... ...ial\theta_{i_2}}\log p_j({\boldsymbol{\theta}})\Bigr)p_j({\boldsymbol{\theta}})$$

  $$= \sum\limits_{j=1}^r\Bigl(\frac{\partial}{\partial\theta_{i_1}}\, ... ...-1}\Bigl(\frac{\partial}{\partial\theta_{i_2}} p_j({\boldsymbol{\theta}})\Bigr)$$

  $$= \Bigl({\mathbf{C}}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})\Bigr)_{i_1i_2}\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Aus (30) ergibt sich für die Likelihood-Funktion $L(x_1,\ldots,x_n;{\boldsymbol{\theta}})$, daß
  $$L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\prod\limits_{j=1}^r p_j({\boldsymbol{\theta}})^{Z_j(x_1,\ldots,x_n)}\,,$$
  bzw. für die Loglikelihood-Funktion $\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})$, daß
  $$\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})=\sum\limits_{j=1}^r Z_j(x_1,\ldots,x_n)\log p_j({\boldsymbol{\theta}})\,.$$

• Jede aus den gruppierten Daten $Z_1(x_1,\ldots,x_n),\ldots,Z_r(x_1,\ldots,x_n)$ gewonnene Maximum-Likelihood-Schätzung $\widehat{\boldsymbol{\theta}}=\widehat{\boldsymbol{\theta}}\bigl(Z_1(x_1,\ldots,x_n),\ldots,Z_r(x_1,\ldots,x_n)\bigr)$ für ${\boldsymbol{\theta}}$ genügt dem Gleichungssystem:

  $$\frac{\partial\log L(x_1,\ldots,x_n;\widehat{\boldsymbol{\theta}})}{\partial\theta_i} =0\,,\qquad\forall\,i=1,\ldots,m\,.$$ (33)

  
  

• Dabei gilt für beliebige $i=1,\ldots,m$ und ${\boldsymbol{\theta}}\in\Theta$, daß
  $$\frac{\partial\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})}{\part... ...ol{\theta}})}\; \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i}$$
  bzw.

  $$\frac{\partial\log L(x_1,\ldots,x_n;{\boldsymbol{\theta}})}{\part... ...ol{\theta}})}\; \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i}\,,$$ (34)

  
  
  wobei sich die letzte Gleichheit aus der Tatsache ergibt, daß
  $$\sum\limits_{j=1}^r \frac{\partial p_j({\boldsymbol{\theta}})}{\partial\theta_i}=0\,,\qquad\forall\,i=1,\ldots,m\,.$$

Aus Theorem 5.2 ergibt sich somit das folgende Resultat.

Korollar 5.1   $\;$ Falls die durch $(\ref{def.matr.beh})$ gegebene Matrix ${\mathbf{C}}({\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})$ für jedes ${\boldsymbol{\theta}}\in\Theta$ positiv definit ist, dann gilt

$$\sqrt{n}\bigl(\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n)-{\bol... ...\boldsymbol{\theta}})^\top {\mathbf{C}}({\boldsymbol{\theta}})\bigr)^{-1}\bigr)$$ (35)

für jede schwach konsistente Folge $\{\widehat{\boldsymbol{\theta}}(X_1,\ldots,X_n),\, n\ge 1\}$ von Maximum-Likelihood-Schätzern für ${\boldsymbol{\theta}}$, die durch die Beobachtung des ,,vergröberten'' Modells gewonnen werden.