Ungleichung von Cramér-Rao

• In diesem Abschnitt setzen wir voraus, daß der Parameter $\theta$ eine relle Zahl ist, d.h.,
• es gelte $m=1$ bzw. $\Theta\subset\mathbb{R}$.
• Aus Theorem 2.1 ergibt sich, daß in der Klasse der erwartungstreuen Schätzer die Minimierung des MQ-Fehlers gleichbedeutend mit der Minimierung der Varianz des Schätzers ist.
• Wir werden deshalb die folgende Sprechweise verwenden.

Definition

 

• Seien $\widehat\theta_1,\widehat\theta_2:\mathbb{R}^n\to\Theta$ zwei Stichprobenfunktionen, so daß für jedes $\theta\in\Theta$
  $${\mathbb{E}\,}_\theta \widehat\theta_1^2(X_1,\ldots,X_n)<\infty\,\qquad {\mathbb{E}\,}_\theta \widehat\theta_2^2(X_1,\ldots,X_n)<\infty$$
  und
  $${\mathbb{E}\,}_\theta \widehat\theta_1(X_1,\ldots,X_n)={\mathbb{E}\,}_\theta \widehat\theta_2(X_1,\ldots,X_n)=\theta\,.$$

• Falls
  $${\rm Var\,}_\theta \widehat\theta_1... ...theta\,\widehat\theta_2(X_1,\ldots,X_n)\,, \qquad\forall\,\theta\in\Theta\,,$$
  dann sagen wir, daß der Schätzer $\widehat\theta_1(X_1,\ldots,X_n)$ besser als der Schätzer $\widehat\theta_2(X_1,\ldots,X_n)$ für $\theta$ ist.

Beispiel

$\;$ Poisson-verteilte Stichprobenvariablen

• Sei $(X_1,\ldots,X_n)$ eine Poisson-verteilte Zufallsstichprobe mit $X_i\sim$ Poi$(\lambda)$.
• Weil sowohl der Erwartungswert als auch die Varianz der Poi$(\lambda)$-Verteilung gleich $\lambda$ sind, gilt
  $${\mathbb{E}\,}_\lambda\overline X_n={\mathbb{E}\,}_\lambda S_n^2=\lambda\,.$$

• D.h., sowohl $\overline X_n$ als auch $S_n^2$ sind erwartungstreue Schätzer für $\lambda$.
• Aus den Theoremen 1.1 bzw. 1.3 folgt außerdem, daß die Varianz dieser Schätzer gegeben ist durch
  $${\rm Var\,}_\lambda\overline X_n=\frac{\lambda}{n}$$   bzw.$$\qquad {\rm Var\,}_\lambda (S_n^2)=\frac{1}{n}\Bigl(\mu^\prime_4-\frac{n-3}{n-1}\;\lambda^2\Bigr)\;,$$
  wobei $\mu_4^\prime={\mathbb{E}\,}\bigl((X_i-\lambda)^4\bigr)$.
• Für das vierte zentrierte Moment $\mu_4^\prime$ der Poi$(\lambda)$-Verteilung gilt (vgl. Übungsaufgabe 1.2.c):
  $$\mu_4^\prime=\lambda+3\lambda^2\,.$$

• Hieraus ergibt sich, daß die Varianz von $\overline X_n$ kleiner ist als die Varianz von $S_n^2$, denn es gilt:
  $${\rm Var\,}_\lambda\overline X_n=\frac{\lambda}{n}<\frac{\lambda... ...1+\Bigl(3-\frac{n-3}{n-1}\Bigr)\lambda\Bigr)= {\rm Var\,}_\lambda (S_n^2)\,.$$

• Wir werden nun die Frage untersuchen, ob es erwartungstreue Schätzer für $\lambda$ gibt, deren Varianz kleiner als $\lambda/n$ ist.

Zunächst leiten wir eine allgemeine untere Schranke für die Varianz von Schätzern mit gewissen Regularitätseigenschaften her, die in der Literatur Ungleichung von Cramér-Rao genannt wird.

Das parametrische Modell $\{P_\theta,\theta\in\Theta\}$ genüge den folgenden Regularitätsbedingungen:

1. Die Familie $\{P_\theta,\theta\in\Theta\}$ bestehe entweder nur aus diskreten Verteilungen oder nur aus absolutstetigen Verteilungen, wobei $\Theta\subset\mathbb{R}$ ein offenes Intervall sei.
2. Die Menge $B=\{x\in\mathbb{R}:L(x;\theta)>0\}$ hänge nicht von $\theta\in\Theta$ ab, wobei die Likelihood-Funktion $L(x;\theta)$ gegeben ist durch
   $$L(x;\theta)=\left\{\begin{array}{ll} p(x;\theta) & \mbox{im diskr... ... Fall,}\\ f(x;\theta) & \mbox{im absolutstetigen Fall} \end{array}\right.$$
   und $p(x;\theta)$ bzw. $f(x;\theta)$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $P_\theta$ ist.
3. Die Ableitung $\frac{\partial}{\partial\theta}L(x;\theta)$ existiere für beliebige $\theta\in\Theta$ und $x\in B$.
4. Vertauschbarkeit von Ableitung und Summe/Integral: Für jedes $\theta\in\Theta$ gelte

   $$\sum\limits_{x\in B} \frac{\partial}{\partial\theta}L(x;\theta)= \frac{d}{d\theta}\sum\limits_{x\in B} L(x;\theta)=0$$ (28)

   
   
   bzw.

   $$\int\limits_B \frac{\partial}{\partial\theta}L(x;\theta)\,dx =\frac{d}{d\theta}\int\limits_B L(x;\theta)\,dx =0$$ (29)

   
   

Theorem 2.2   Sei $\{P_\theta,\,\theta\in\Theta\}$ eine Familie von Verteilungen, die den Regularitätsbedingungen $1$-$4$ genügt, und sei $\widehat\theta:\mathbb{R}^n\to\Theta$ eine Stichprobenfunktion, so daß für jedes $\theta\in\Theta$

• ${\mathbb{E}\,}_\theta\bigl((\widehat\theta(X_1,\ldots,X_n))^2\bigr)<\infty$,
• die Ableitung $\frac{d}{d\theta}{\mathbb{E}\,}_\theta\widehat\theta(X_1,\ldots,X_n)$ existiert und

  $$\frac{d}{d\theta}{\mathbb{E}\,}_\theta\widehat\theta(X_1,\ldots,X... ...\theta)\,dx_1\ldots dx_n & \mbox{im absolutstetigen Fall,} \end{array}\right.$$ (30)

  
  
  wobei $L(x_1,\ldots,x_n;\theta)$ die Likelihood-Funktion ist mit
  $$L(x_1,\ldots,x_n;\theta)=\left\{\begin{array}{ll} p(x_1;\theta)\... ...a)\ldots f(x_n;\theta) & \mbox{im absolutstetigen Fall.} \end{array}\right.$$

Dann gilt für jedes $\theta\in\Theta$

$${\rm Var\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\ge \frac{\dis... ...(\Bigl( \frac{\partial}{\partial\theta}\,\log L(X_1;\theta)\Bigr)^2\Bigr)}\;.$$ (31)

Beweis

 

• Wir betrachten zunächst den diskreten Fall.
• Für jedes $\theta\in\Theta$ sei die Abbildung $\varphi_\theta:\mathbb{R}^n\to\mathbb{R}$ gegeben durch
  $$\varphi_\theta(x_1,\ldots,x_n) =\Bigl(\frac{\partial}{\partial\t... ...heta)\Bigr){1\hspace{-1mm}{\rm I}}_{B\times\ldots\times B}(x_1,\ldots,x_n)\,.$$

• Dann gilt für jedes $\theta\in\Theta$
  

  $${\rm Var\,}_\theta\varphi_\theta(X_1,\ldots,X_n) = {\rm Var\,}_\theta\Bigl(\frac{\partial}{\partial\theta}\,\log\prod\limits_{i=1}^n L(X_i;\theta)\Bigr)$$

  $$= {\rm Var\,}_\theta\Bigl(\sum\limits_{i=1}^n\frac{\partial}{\partial\theta}\,\log L(X_i;\theta)\Bigr)$$

  $$= \sum\limits_{i=1}^n {\rm Var\,}_\theta\Bigl(\frac{\partial}{\partial\theta}\,\log L(X_i;\theta)\Bigr)$$

  $$= n\,{\rm Var\,}_\theta\Bigl(\frac{\partial}{\partial\theta}\,\log L(X_1;\theta)\Bigr)\,,$$

  
  
  wobei sich die letzten beiden Gleichheiten aus der Unabhängigkeit bzw. identischen Verteiltheit der Stichprobenvariablen $X_1,\ldots,X_n$ ergeben.
• Außerdem gilt
  

  $${\mathbb{E}\,}_\theta \Bigl(\frac{\partial}{\partial\theta}\,\log L(X_1;\theta)\Bigr) = \sum\limits_{x\in B} \Bigl(\frac{\partial}{\partial\theta}\,\log L(x;\theta)\Bigr)L(x;\theta)$$

  $$= \sum\limits_{x\in B} \frac{\partial}{\partial\theta}\, L(x;\theta)$$

  $$\stackrel{(\ref{abl.nul.dis})}{=} \frac{\partial}{\partial\theta}\, \sum\limits_{x\in B} L(x;\theta)=0\,.$$

  
  

• Somit gilt
  $${\rm Var\,}_\theta\varphi_\theta(X_1,\ldots,X_n) = n{\mathbb{E}\... ...(\Bigl( \frac{\partial}{\partial\theta}\,\log L(X_1;\theta)\Bigr)^2\Bigr)\,.$$

• Aus der Ungleichung von Cauchy-Schwarz (vgl. Theorem WR-4.11) ergibt sich nun, daß
  

  $${\hspace{-3cm} \Bigl({\rm Cov\,}_\theta(\varphi_\theta(X_1,\ldots... ...\varphi_\theta(X_1,\ldots,X_n){\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n)}$$

  $$= n{\mathbb{E}\,}_\theta\Bigl(\Bigl( \frac{\partial}{\partial\theta... ... L(X_1;\theta)\Bigr)^2\Bigr){\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n)\,.$$

  
  

• Wegen ${\mathbb{E}\,}_\theta\varphi_\theta(X_1,\ldots,X_n)=0$ ergibt sich andererseits, daß
  

  $${ {\rm Cov\,}_\theta(\varphi_\theta(X_1,\ldots,X_n),\widehat\thet... ...b{E}\,}_\theta(\varphi_\theta(X_1,\ldots,X_n)\,\widehat\theta(X_1,\ldots,X_n))}$$

  $$= \sum\limits_{x_1,\ldots,x_n\in B}\widehat\theta(x_1,\ldots,x_n) \... ...l}{\partial\theta}\,\log L(x_1,\ldots,x_n;\theta)\Bigr)L(x_1,\ldots,x_n;\theta)$$

  $$= \sum\limits_{x_1,\ldots,x_n\in B}\widehat\theta(x_1,\ldots,x_n) \frac{\partial}{\partial\theta}\, L(x_1,\ldots,x_n;\theta)$$

  $$\stackrel{(\ref{bed.ver.rel})}{=} \frac{d}{d\theta}{\mathbb{E}\,}_\theta\widehat\theta(X_1,\ldots,X_n)\,.$$

  
  

• Damit ist (31) für den diskreten Fall bewiesen. Im absolutstetigen Fall verläuft der Beweis analog.
  
  $\Box$

Korollar 2.1   Sei $\{P_\theta,\,\theta\in\Theta\}$ eine Familie von Verteilungen und $\widehat\theta:\mathbb{R}^n\to\Theta$ eine Stichprobenfunktion, die den Bedingungen von Theorem  $\ref{the.ung.rao}$ genügen. Falls $\widehat\theta(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer für $\theta$ ist, dann gilt für jedes $\theta\in\Theta$

$${\rm Var\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\ge \frac{1}{\... ...(\Bigl( \frac{\partial}{\partial\theta}\,\log L(X_1;\theta)\Bigr)^2\Bigr)}\;.$$ (32)

Beweis

 

• Weil $\widehat\theta(X_1,\ldots,X_n)$ erwartungstreu ist, gilt
  $${\mathbb{E}\,}_\theta\widehat\theta(X_1,\ldots,X_n)=\theta$$
  bzw.
  $$\frac{d}{d\theta}{\mathbb{E}\,}_\theta\widehat\theta(X_1,\ldots,X_n)=1\,.$$

• Die Behauptung ergibt sich nun unmittelbar aus der Cramér-Rao-Ungleichung (31).
  
  $\Box$

Beispiel

$\;$ Poisson-verteilte Stichprobenvariablen (Fortsetzung)

• Falls $X_i\sim$ Poi$(\lambda)$, dann gilt $B=\mathbb{N}$ und $L(x;\lambda)=(\lambda^x/x!)\,e^{-\lambda}$ für jedes $x\in\mathbb{N}$ bzw.

  $$\frac{\partial}{\partial\lambda}\,L(x;\lambda)=\left\{\begin{arra... ...ambda^{x-1}}{(x-1)!}\;e^{-\lambda}\,,& \mbox{falls $x>0$.} \end{array}\right.$$ (33)

  
  

• Somit gilt

  $$\sum\limits_{x\in\mathbb{N}}\frac{\partial}{\partial\lambda}\,L(x... ...gr)\frac{\lambda^{k-1}}{(k-1)!}\;e^{-\lambda} =-e^{-\lambda}+e^{-\lambda}=0\,.$$ (34)

  
  

• Die Regularitätsbedingungen 1-4, die unmittelbar vor Theorem 2.2 formuliert wurden, sind also erfüllt.
• Wir zeigen nun, daß der Schätzer $\overline X_n$ für $\lambda$ die Bedingungen von Theorem 2.2 erfüllt.
• Für jedes $\lambda>0$ gilt
  $${\mathbb{E}\,}_\lambda\vert\overline X_n\vert={\mathbb{E}\,}_\lam... ...e X_n =\lambda\,,\qquad{\rm Var\,}_\lambda\overline X_n=\frac{\lambda}{n}\;.$$
  und somit $(d/d\lambda)\,{\mathbb{E}\,}_\lambda\overline X_n=1$.
• Hieraus und aus (33) ergibt sich die Gültigkeit der Bedingung (30) mittels vollständiger Induktion:
  • Für $n=1$ gilt

    $$\sum\limits_{x\in\mathbb{N}} x\,\frac{\partial}{\partial\lambda}... ...da}{k}\Bigr)\frac{\lambda^{k-1}}{(k-1)!}\;e^{-\lambda} =\lambda+1-\lambda=1\,.$$ (35)

    
    

  • Wir nehmen nun an, daß

    $$\sum\limits_{x_1,\ldots,x_{n-1}\in\mathbb{N}} (x_1+\ldots+x_{n-1})\,\frac{\partial}{\partial\lambda}\,L(x_1,\ldots,x_{n-1};\lambda)=n-1\,.$$ (36)

    
    

  • Dann gilt
    

    $${ \sum\limits_{x_1,\ldots,x_n\in\mathbb{N}} (x_1+\ldots+x_n)\,\frac{\partial}{\partial\lambda}\,L(x_1,\ldots,x_n;\lambda)}$$

    $$= \sum\limits_{x_1,\ldots,x_{n-1}\in\mathbb{N}}\sum\limits_{x_n\in\... ...{\partial}{\partial\lambda}\,L(x_1,\ldots,x_{n-1};\lambda)\Bigr) L(x_n;\lambda)$$

    $$+L(x_1,\ldots,x_{n-1};\lambda) \frac{\partial}{\partial\lambda}\,L(x_n;\lambda)\Bigr)$$

    $$\stackrel{(\ref{poi.bed.rao}),(\ref{ind.poi.rao})}{=} \sum\limits_{x_1,\ldots,x_{n-1}\in\mathbb{N}}\Bigl((x_1+\ldots+x_{n-1}) \frac{\partial}{\partial\lambda}\,L(x_1,\ldots,x_{n-1};\lambda)$$

    $$+ \lambda\frac{\partial}{\partial\lambda}\,L(x_1,\ldots,x_{n-1};\lambda)+ L(x_1,\ldots,x_{n-1};\lambda)\Bigr)$$

    $$\stackrel{(\ref{ind.ann.rao}),(\ref{poi.bed.rao})}{=} (n-1)+0+1=n\,.$$

    
    

• Außerdem gilt für jedes $x\in\mathbb{N}$
  $$\frac{\partial}{\partial\lambda}\,\log L(x;\lambda)=\frac{x}{\lambda}-1=\frac{1}{\lambda}(x-\lambda)\,.$$

• Hieraus folgt, daß
  $$\frac{1}{\displaystyle n\,{\mathbb{E}\,}_\lambda\Bigl(\Bigl( \fr... ... n\,{\mathbb{E}\,}_\lambda\bigl((X_1-\lambda)^2\bigr)} =\frac{\lambda}{n}\,.$$

• Weil
  $${\rm Var\,}_\lambda\overline X_n=\frac{\lambda}{n}\;,$$
  ist damit gezeigt, daß in der Klasse derjenigen Schätzer, die die Bedingungen von Theorem 2.2 erfüllen, das Stichprobenmittel $\overline X_n$ bester erwartungstreuer Schätzer für $\lambda$ ist.

Beachte

$\;$ Es gibt jedoch Familien $\{P_\theta,\theta\in\Theta\}$ von Verteilungen,

• die den Regularitätsbedingungen 1-4 nicht genügen, und
• für die man Beispiele von erwartungstreuen Schätzern konstruieren kann, deren Varianz kleiner als die untere Schranke in (31) ist.

Beispiel

$\;$ Gleichverteilte Stichprobenvariablen

• Sei $(X_1,\ldots,X_n)$ eine gleichverteilte Zufallsstichprobe mit $X_i\sim$ U $(0,\theta)$.
• Dann ist $B=(0,\theta)$ (also eine Menge, die entgegen der zweiten Regularitätsbedingung von der spezifischen Ausprägung des Parameters $\theta$ abhängt), und es gilt
  $$L(x;\theta)=\frac{1}{\theta}\,,\qquad\forall\, x\in(0,\theta)\,.$$

• Hieraus folgt, daß auch die Regularitätsbedingung (29) nicht erfüllt ist, denn
  

  $$\frac{d}{d\theta}\int\limits_0^\theta L(x;\theta)\,dx = \frac{d}{d\theta}\int\limits_0^\theta \frac{1}{\theta}\,dx = \fra... ...imits_0^\theta \frac{\partial}{\partial\theta} \Bigl(\frac{1}{\theta}\Bigr)\,dx$$

  $$\not= \int\limits_0^\theta \frac{\partial}{\partial\theta}\Bigl(\frac{1... ...r)\,dx = \int\limits_0^\theta \frac{\partial}{\partial\theta}L(x;\theta)\,dx\,.$$

  
  

• Außerdem gilt für jedes $x\in(0,\theta)$
  $$\frac{\partial}{\partial\theta}\,\log L(x;\theta)=-\,\frac{1}{\theta}\,.$$

• Hieraus folgt, daß
  $$\frac{1}{\displaystyle n\,{\mathbb{E}\,}_\theta\Bigl(\Bigl( \fra... ...l}{\partial\theta}\,\log L(X_1;\theta)\Bigr)^2\Bigr)} =\frac{\theta^2}{n}\;.$$

• Wir konstruieren nun einen erwartungstreuen Schätzer für $\theta$, dessen Varianz kleiner als $\theta^2/n$ ist.
• Sei
  $$\widehat\theta(X_1,\ldots,X_n)=\frac{n+1}{n}\max\{X_1,\ldots,X_n\}\,.$$
  Dann gilt (vgl. Übungsaufgabe 3.3 bzw. 6.4)
  $${\mathbb{E}\,}\widehat\theta(X_1,\ldots,X_n)=\frac{n+1}{n}\,{\mathbb{E}\,}\max\{X_1,\ldots,X_n\}=\theta$$
  und
  

  $${\rm Var\,}\widehat\theta(X_1,\ldots,X_n) = \frac{(n+1)^2}{n^2}\,{\rm Var\,}\max\{X_1,\ldots,X_n\}$$

  $$= \frac{(n+1)^2}{n^2}\,\frac{n\theta^2}{(n+1)^2(n+2)}$$

  $$= \frac{\theta^2}{n(n+2)}<\frac{\theta^2}{n}\;.$$