Asymptotische Normalverteiltheit

• In diesem Abschnitt diskutieren wir die asymptotische Normalverteiltheit von Parameterschätzern für den Fall, dass der Stichprobenumfang $n$ unendlich groß wird.
• Wir beginnen mit dem folgenden Beispiel, das Aussagen enthält, die wir bereits in den Abschnitten 1.2 bzw. 1.3 (teilweise unter allgemeineren Modellannahmen) hergeleitet hatten.

Beispiel

$\;$ (Normalverteilte Stichprobenvariablen)

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R},\, \sigma^2> 0\}$, wobei sowohl $\mu$ als auch $\sigma^2$ unbekannt sei.
• Weil für das 4-te zentrale Moment $\mu_4^\prime$ normalverteilter Stichprobenvariablen $X_1,\ldots,X_n$
  $$\mu_4^\prime-\sigma^4=2\sigma^4$$
  gilt, ergibt sich aus den Theoremen 1.4 bzw. 1.11, dass für beliebige $\mu\in\mathbb{R},\,\sigma^2>0$

  $$\sqrt{n}\;\frac{\overline X_n-\mu}{\sigma}\stackrel{{\rm d}}{=} Y \qquad \sqrt{n}\;\frac{S_n^2-\sigma^2}{\sqrt{2}\sigma^2}\stackrel{{\rm d}}{\longrightarrow}Y \mbox{für $n\to\infty$,}$$ (67)

  
  
  wobei $Y\sim$ N$(0,1)$.
• Weil die Zufallsvariablen $\overline X_n$ und $S_n^2$ unabhängig sind (vgl. Theorem 1.10), ergibt sich hieraus, dass für beliebige $y_1,y_2\in\mathbb{R}$

  $$\lim\limits_{n\to\infty} P_{(\mu,\sigma^2)}\Bigl( \sqrt{n}\;\fra... ...;\frac{S_n^2-\sigma^2}{\sqrt{2}\sigma^2}\le y_2 \Bigr)=\Phi(y_1)\,\Phi(y_2)\,,$$ (68)

  
  
  wobei $\Phi:\mathbb{R}\to[0,1]$ die Verteilungsfunktion der N$(0,1)$-Verteilung ist.
• Hieraus folgt außerdem, dass auch

  $$\lim\limits_{n\to\infty} P_{(\mu,\sigma^2)}\Bigl( \sqrt{n}\;\fra... ...at\sigma_n^2-\sigma^2}{\sqrt{2}\sigma^2}\le y_2 \Bigr)=\Phi(y_1)\,\Phi(y_2)\,,$$ (69)

  
  
  wobei $(\widehat\mu_n,\widehat\sigma_n^2)$ der Maximum-Likelihood-Schätzer für $(\mu,\sigma^2)$ ist mit
  $$\widehat\mu_n=\overline X_n\,,\qquad \widehat\sigma_n^2(X_1,\ldots,X_n)=\frac{1}{n}\;\sum\limits_{i=1}^n(X_i-\overline X_n)^2\,.$$

Wir beweisen nun einen zentralen Grenzwertsatz für Maximum-Likelihood-Schätzer, wobei wir voraussetzen, dass die folgenden Bedingungen erfüllt sein mögen.

• Die Familie $\{P_\theta,\theta\in\Theta\}$ bestehe entweder nur aus diskreten Verteilungen oder nur aus absolutstetigen Verteilungen, wobei $\Theta\subset\mathbb{R}$ ein offenes Intervall sei.
• Die Menge $B=\{x\in\mathbb{R}:L(x;\theta)>0\}$ hänge nicht von $\theta\in\Theta$ ab, wobei die Likelihood-Funktion $L(x;\theta)$ gegeben ist durch
  $$L(x;\theta)=\left\{\begin{array}{ll} p(x;\theta) & \mbox{im diskr... ... Fall,}\\ f(x;\theta) & \mbox{im absolutstetigen Fall} \end{array}\right.$$
  und $p(x;\theta)$ bzw. $f(x;\theta)$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $P_\theta$ ist.
• Es gelte
  $$P_\theta\not=P_{\theta^\prime}$$   genau dann, wenn$$\qquad \theta\not=\theta^\prime\,.$$

• Außerdem sei die Abbildung $\theta\to L(x;\theta)$ für jedes $x\in B$ dreimal stetig differenzierbar, und es gelte

  $$\frac{d^k}{d\theta^k}\int\limits_B L(x;\theta)\,dx=\int\limits_B\frac{\partial^k}{\partial\theta^k}\;L(x;\theta)\,dx\,, \qquad\forall\, \mbox{$k=1,2$\ und $\theta\in\Theta$,}$$ (70)

  
  
  wobei die Integrale im diskreten Fall durch die entsprechenden Summen zu ersetzen sind.
• Für jedes $\theta_0\in\Theta$ gebe es eine Konstante $c_{\theta_0}>0$ und eine messbare Funktion $g_{\theta_0}:B\to[0,\infty)$, so dass

  $$\Bigl\vert\frac{\partial^3}{\partial\theta^3}\;\log L(x;\theta)\Bigr\vert\le g_{\theta_0}(x)\,,\qquad\forall\, \mbox{$x\in B$\ und $\vert\theta-\theta_0\vert<c_{\theta_0}$}$$ (71)

  
  
  und

  $${\mathbb{E}\,}_{\theta_0} g_{\theta_0}(X_1)<\infty\,.$$ (72)

  
  

Beachte

 

• Das Integral

  $$I(\theta)={\mathbb{E}\,}_\theta\Bigl... ...l\theta}\,\log L(X_1;\theta)\Bigr)^2\Bigr)\,,\qquad\forall\,\theta\in\Theta\,,$$ (73)

  
  
  das wir bereits in Abschnitt 2.3.2 betrachtet hatten (vgl. (31) bzw. (32)), wird in der Literatur Fisher-Information genannt.
• Bei der Herleitung der Ungleichung von Cramér-Rao (vgl. den Beweis von Theorem 2.2) hatten wir gezeigt, dass

  $${\mathbb{E}\,}_\theta\Bigl(\frac{\partial}{\partial\theta}\;\log L(X_1;\theta)\Bigr)=0$$ (74)

  
  
  und somit

  $$I(\theta)={\rm Var\,}_\theta\Bigl(\frac{\partial}{\partial\theta}\;\log L(X_1;\theta)\Bigr)\,.$$ (75)

  
  

Theorem 2.11   $\;$ Falls

$$0<I(\theta)<\infty\,,\qquad\forall\, \theta\in\Theta\,,$$

dann gilt für jede schwach konsistente Folge $\{\widehat\theta(X_1,\ldots,X_n),\,n\ge 1\}$ von Maximum-Likelihood-Schätzern für $\theta$, dass

$$\bigl(n\,I(\theta)\bigr)^{1/2}\,\bigl(\widehat\theta(X_1,\ldots,X_n)-\theta\bigr)\stackrel{{\rm d}}{\longrightarrow} Y\sim \mbox{{\rm N}$(0,1)$,} \qquad\forall\, \theta\in\Theta\,.$$ (76)

Beweis

 

• Wir benutzen die abkürzende Schreibweise $l_n(\theta)=\log L(X_1,\ldots,X_n;\theta)$ und $l_n^{(1)}(\theta)$, $l_n^{(2)}(\theta)$, $l_n^{(3)}(\theta)$ für die entsprechenden Ableitungen bezüglich $\theta$.
• Sei $\widehat\theta=\widehat\theta(X_1,\ldots,X_n)$, $n\ge 1$, eine schwach konsistente Folge von Maximum-Likelihood-Schätzern für $\theta$.
• Für jedes $\omega\in\Omega$ entwickeln wir nun $l_n^{(1)}(\widehat\theta)$ in eine Taylor-Reihe an der Stelle $\theta\in\Theta$ und erhalten, dass
  $$l_n^{(1)}(\widehat\theta)=l_n^{(1)}(\theta)+(\widehat\theta-\thet... ...heta) +\frac{1}{2} (\widehat\theta-\theta)^2 l_n^{(3)}(\widehat\theta^*)\,,$$
  wobei $\widehat\theta^*$ zwischen $\theta$ und $\widehat\theta$ liegt.
• Weil $l_n^{(1)}(\widehat\theta)=0$ gilt, ergibt sich hieraus, dass

  $$\sqrt{n}\;(\widehat\theta-\theta)=\frac{l_n^{(1)}(\theta)/\sqrt{n... ...(\theta)-\frac{1}{2n}\;(\widehat\theta-\theta) l_n^{(3)}(\widehat\theta^*)}\;.$$ (77)

  
  

• Es genügt zu zeigen, dass

  $$\frac{1}{\sqrt{n}}\;l_n^{(1)}(\theta)\stackrel{{\rm d}}{\longrightarrow}Y\sim \mbox{ N$(0,I(\theta))$,}$$ (78)

  
  
  dass

  $$-\frac{1}{n}\;l_n^{(2)}(\theta)\stackrel{{\rm P}}{\longrightarrow}I(\theta)$$ (79)

  
  
  und dass es eine Konstante $c<\infty$ gibt, so dass

  $$\lim\limits_{n\to\infty} P_\theta\Bigl(\Bigl\vert\frac{1}{n}\;l_n^{(3)}(\widehat\theta^*)\Bigr\vert<c\Bigr)=1\,.$$ (80)

  
  

• Denn wegen $\widehat\theta\stackrel{{\rm P}}{\longrightarrow}\theta$ ergibt sich aus (79) und (80), dass der Nenner der rechten Seite von (77) in Wahrscheinlichkeit gegen $I(\theta)$ konvergiert.
• Hieraus und aus (78) ergibt sich dann die Gültigkeit von (76) mit Hilfe des Satzes von Slutsky für die Multiplikation (vgl. Theorem WR-5.11).
• Um (78) zu zeigen, genügt es zu beachten, dass
  $$l_n^{(1)}(\theta)=\sum\limits_{i=1}^n \frac{\partial}{\partial\theta}\;\log L(X_i;\theta)\,.$$

• Wegen (74) und (75) ergibt sich (78) dann aus dem zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen; vgl. Theorem WR-5.16.
• Um (79) zu zeigen, genügt es zu beachten, dass
  

  $$-\frac{1}{n}\;l_n^{(2)}(\theta) = \frac{1}{n}\;\sum\limits_{i=1}^n \frac{\bigl(L^{(1)}(X_i;\theta)\bigr)^2-L(X_i;\theta)L^{(2)}(X_i;\theta)}{ \bigl(L(X_i;\theta)\bigr)^2}$$

  $$= \frac{1}{n}\;\sum\limits_{i=1}^n\; \Bigl(\frac{L^{(1)}(X_i;\theta... ...2 -\frac{1}{n}\;\sum\limits_{i=1}^n\frac{L^{(2)}(X_i;\theta)}{L(X_i;\theta)}\;,$$

  
  
  wobei
  $$L^{(k)}(X_i;\theta)= \frac{\partial^k}{\partial\theta^k}\; L(X_i;\theta)\,.$$

• Aus dem starken Gesetz der großen Zahlen für Summen von unabhängigen und identisch verteilten Zufallsvariablen (vgl. Theorem WR-5.15) ergibt sich nun, dass
  

  $$-\frac{1}{n}\;l_n^{(2)}(\theta) \stackrel{{\rm f.s.}}{\longrightarrow} {\mathbb{E}\,}_\theta\Bigl(\Bigl(\frac{L^{(1)}(X_1;\theta)}{L(X_1... ...gr)- {\mathbb{E}\,}_\theta\Bigl(\frac{L^{(2)}(X_1;\theta)}{L(X_1;\theta)}\Bigr)$$

  $$= I(\theta)- {\mathbb{E}\,}_\theta\Bigl(\frac{L^{(2)}(X_1;\theta)}{L(X_1;\theta)}\Bigr)$$

  $$= I(\theta)\,,$$

  
  
  wobei sich die vorletzte Gleichheit aus der Definitionsgleichung (73) der Fisher-Information $I(\theta)$ ergibt und
  

  $${\mathbb{E}\,}_\theta\Bigl(\frac{L^{(2)}(X_1;\theta)}{L(X_1;\theta)}\Bigr) = \int\limits_B\frac{\partial^2}{\partial\theta^2}\, L(x;\theta)\, dx$$

  $$\stackrel{(\ref{ver.asy.nor})}{=} \frac{d^2}{d\theta^2}\,\int\limits_B L(x;\theta)\, dx = \frac{d^2}{d\theta^2}\, 1 =0\,.$$

  
  

• Schließlich ergibt sich aus (71), dass

  $$\Bigl\vert\frac{1}{n}\;l_n^{(3)}(\widehat\theta^*)\Bigr\vert\le\frac{1}{n}\; \sum\limits_{i=1}^n\; g_{\theta}(X_i)\,,$$ (81)

  
  
  falls $\vert\widehat\theta-\theta\vert<c_{\theta}$.
• Weil $\vert\widehat\theta-\theta\vert\stackrel{{\rm P}}{\longrightarrow}0$ gilt, konvergiert die Wahrscheinlichkeit des in (81) betrachteten Ereignisses gegen $1$ für $n\to\infty$.
• Weil andererseits wegen (72)
  $$\frac{1}{n} \sum\limits_{i=1}^n\; g_{\theta}(X_i)\stackrel{{\rm f.s.}}{\longrightarrow}{\mathbb{E}\,}_\theta g_{\theta}(X_1)<\infty\,,$$
  ergibt sich hieraus die Gültigkeit von (80).
  
  $\Box$

Beispiel

$\;$ (Poisson-verteilte Stichprobenvariablen) 

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Poi $(\lambda),\,\lambda>0\}$.
• Dann ist die Likelihood-Funktion $L(x;\lambda)=\bigl(\lambda^x/x!\bigr)\,e^{-\lambda}$ für jedes $x\in\mathbb{N}$ beliebig oft differenzierbar in $\lambda$, und die Vertauschbarkeitsbedingung (70) ist erfüllt, denn es gilt für jedes $x\in\mathbb{N}$
  $$\frac{d}{d\lambda}\Bigl(\sum\limits_{x=0}^\infty L(x;\lambda)\Bi... ...}^\infty \frac{\lambda^x}{x!}\;e^{-\lambda}\Bigr)=\frac{d}{d\lambda}\, 1= 0$$
  und
  

  $$\sum\limits_{x=0}^\infty \frac{\partial}{\partial\lambda}\;L(x;\lambda) = \sum\limits_{x=0}^\infty\frac{\partial}{\partial\lambda}\; \Bigl(\frac{\lambda^x}{x!}\;e^{-\lambda}\Bigr)$$

  $$= \sum\limits_{x=1}^\infty\frac{\lambda^{x-1}}{(x-1)!}\;e^{-\lambda} -\sum\limits_{x=0}^\infty\frac{\lambda^x}{x!}\;e^{-\lambda}=0\,.$$

  
  

• Außerdem gilt für beliebige $x\in\mathbb{N}$ und $\lambda>0$
  $$\frac{\partial^3}{\partial\lambda^3}\;\log L(x;\lambda)=\frac{\partial^3}{\partial\lambda^3}\; (x\log\lambda-\lambda)=\frac{2x}{\lambda^3}\;.$$

• Hieraus folgt, dass für jedes $\lambda_0>0$
  $$\Bigl\vert\frac{\partial^3}{\partial\lambda^3}\;\log L(x;\lambda)\Bigr\vert\le g_{\lambda_0}(x)\,,\qquad\forall\,$$$$\mbox{$x\in \mathbb{N}$\ und $\vert\lambda-\lambda_0\vert<c_{\lambda_0}$,}$$$$$$
  wobei $c_{\lambda_0}=\lambda_0/2$ und
  $$g_{\lambda_0}(x)=\frac{2x}{(\lambda_0/2)^3}$$   mit$$\qquad {\mathbb{E}\,}_{\lambda_0} g_{\lambda_0}(X_1)=\frac{16}{\lambda_0^2}<\infty\,.$$

• Die Bedingungen der Theoreme 2.10 und 2.11 sind somit erfüllt.
• Hieraus folgt, dass der Maximum-Likelihood-Schätzer $\widehat\lambda(X_1,\ldots,X_n)=\overline X_n$ für $\lambda$ asymptotisch normalverteilt ist.
• Dies ergibt sich jedoch in diesem Fall auch direkt aus dem zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen; vgl. Theorem 1.2.