Bedingte Erwartung; Ungleichung von Rao-Blackwell

• In den Abschnitten 2.3.3 und 2.3.4 hatten wir Beispiele von Schätzern $\widehat\theta(X_1,\ldots,X_n)$ für $\theta$ betrachtet, die zwar vollständig und suffizient, jedoch nicht erwartungstreu sind.
• Wenn außerdem noch ein weiterer Schätzer $\widetilde\theta(X_1,\ldots,X_n)$ für $\theta$ gegeben ist, der zwar erwartungstreu ist, jedoch weder vollständig noch suffizient sein muss, dann ergibt sich durch die folgende Verknüpfung von $\widetilde\theta(X_1,\ldots,X_n)$ und $\widehat\theta(X_1,\ldots,X_n)$ ein bester erwartungstreuer Schätzer für $\theta$.
• Ähnlich wie im Beweis von Theorem 2.5 sei

  $$\widetilde g(t)={\mathbb{E}\,}_\theta\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)$$ (52)

  
  
  der Erwartungswert der bedingten Verteilung
  $$\bigl\{P_\theta\bigl(\widetilde\theta(X_1,\ldots,X_n)\in B \mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)\,,\,B\in\mathcal{B}(\mathbb{R})\bigr\}\,,$$
  wobei
  

  $${ P_\theta\bigl(\widetilde\theta(X_1,\ldots,X_n)\in B \mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)}$$

  $$= \lim\limits_{\varepsilon\downarrow 0}P_\theta\bigl(\widetilde\the... ...n B \mid\widehat\theta(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)\,.$$ (53)

  
  

• Weil $\widehat\theta(X_1,\ldots,X_n)$ suffizient ist, hängt $\widetilde g(t)$ nicht von $\theta$ ab.
• Wir können somit die zusammengesetzte Stichprobenfunktion $\widetilde g\circ\widehat\theta:\mathbb{R}^n\to\mathbb{R}$ betrachten mit
  $$\bigl(\widetilde g\circ\widehat\theta\bigr)(x_1,\ldots,x_n)=\widetilde g\bigl(\widehat\theta(x_1,\ldots,x_n)\bigr)\,.$$

Definition

Die zufällige Stichprobenfunktion $\bigl(\widetilde g\circ\widehat\theta\bigr)(X_1,\ldots,X_n)$ wird in der Literatur die bedingte Erwartung von $\widetilde\theta(X_1,\ldots,X_n)$ bezüglich $\widehat\theta(X_1,\ldots,X_n)$ genannt und mit ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ bezeichnet.

Auf ähnliche Weise wie Theorem 2.5 lässt sich dann die folgende Aussage aus Lemma 2.7 herleiten.

Theorem 2.6    

• Sei $\{P_\theta,\,\theta\in\Theta\}$ ein beliebiges parametrisches Modell mit $\Theta\subset\mathbb{R}$, und seien $\widetilde\theta,\,\widehat\theta:\mathbb{R}^n\to\mathbb{R}$ beliebige Stichprobenfunktionen, so dass $\widetilde\theta(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer und $\widehat\theta(X_1,\ldots,X_n)$ ein vollständiger und suffizienter Schätzer für $\theta$ ist, wobei ${\mathbb{E}\,}_\theta\bigl(\widetilde\theta(X_1,\ldots,X_n)^2\bigr) <\infty$ für jedes $\theta\in\Theta$.
• Dann ist die bedingte Erwartung ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ bester erwartungstreuer Schätzer für $\theta$.

Beweis

 

• Wegen Lemma 2.7 genügt es zu zeigen, dass ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ quadratisch integierbar, erwartungstreu und unkorreliert mit jedem erwartungstreuen Schätzer $\varphi(X_1,\ldots,X_n)$ für 0 ist.
• Es gilt
  

  $${ {\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta... ... \int\limits_\mathbb{R}\widetilde g(t)\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)}$$

  $$= \int\limits_\mathbb{R}{\mathbb{E}\,}_\theta\bigl(\widetilde\theta... ...dots,X_n)}(t) = {\mathbb{E}\,}_\theta\widetilde\theta(X_1,\ldots,X_n)=\theta\,,$$

  
  
  d.h., ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ ist erwartungstreu.
• Auf die gleiche Weise ergibt sich für jeden erwartungstreuen Schätzer $\varphi(X_1,\ldots,X_n)$ für 0, dass
  

  $${\hspace{-1cm} {\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\wi... ...etilde g\circ\widehat\theta\bigr)(X_1,\ldots,X_n)\varphi(X_1,\ldots,X_n)\Bigr)}$$

  $$= \int\limits_\mathbb{R}{\mathbb{E}\,}_\theta\Bigl(\bigl(\widetilde... ...\widehat\theta(X_1,\ldots,X_n)=t \Bigr)\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= \int\limits_\mathbb{R}{\mathbb{E}\,}_\theta\Bigl(\bigl(\widetilde... ...\widehat\theta(X_1,\ldots,X_n)=t \Bigr)\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= \int\limits_\mathbb{R}\widetilde g(t){\mathbb{E}\,}_\theta\Bigl(\... ...\widehat\theta(X_1,\ldots,X_n)=t \Bigr)\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= \int\limits_\mathbb{R}\widetilde g(t) g(t)\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)\,,$$

  
  
  wobei $g(t)={\mathbb{E}\,}_\theta\bigl( \varphi(X_1,\ldots,X_n)\mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)$ für jedes $\theta\in\Theta$.
• Hieraus ergibt sich nun genauso wie im Beweis von Theorem 2.5, dass
  $${\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta(X... ... \mid\widehat\theta(X_1,\ldots,X_n)\bigr)\varphi(X_1,\ldots,X_n)\Bigr) =0\,.$$

• Außerdem gilt, dass
  

  $${ {\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta... ...heta\Bigl( \bigl(\widetilde g\circ\widehat\theta\bigr)^2(X_1,\ldots,X_n)\Bigr)}$$

  $$= \int\limits_\mathbb{R}(\widetilde g^2(t))\,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= \int\limits_\mathbb{R}\Bigl({\mathbb{E}\,}_\theta\bigl(\widetilde... ...\theta(X_1,\ldots,X_n)=t\bigr)\Bigr)^2 \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$\le \int\limits_\mathbb{R}{\mathbb{E}\,}_\theta\bigl((\widetilde\thet... ...\widehat\theta(X_1,\ldots,X_n)=t\bigr) \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= {\mathbb{E}\,}_\theta\widetilde\theta^2(X_1,\ldots,X_n)<\infty\,,$$

  
  
  wobei in der vorletzten Ungleichung genutzt wurde, dass $({\mathbb{E}\,} X)^2\le {\mathbb{E}\,}(X^2)$ für jede Zufallsvariable $X$ mit ${\mathbb{E}\,}(X^2)<\infty$.
  
  $\Box$

Korollar 2.2    

• Sei $\{P_\theta,\,\theta\in\Theta\}$ ein beliebiges parametrisches Modell mit $\Theta\subset\mathbb{R}$, und sei $\widehat\theta(X_1,\ldots,X_n)$ ein vollständiger und suffizienter Schätzer für $\theta$.
• Falls $g:\mathbb{R}\to\mathbb{R}$ eine messbare Funktion ist, so dass
  $${\mathbb{E}\,}_\theta\bigl(g\bigl(\w... ...theta(X_1,\ldots,X_n)\bigr)^2\bigr) <\infty\,,\qquad\forall\,\theta\in\Theta$$
  und dass $g\bigl(\widehat\theta(X_1,\ldots,X_n)\bigr)$ ein erwartungstreuer Schätzer für $\theta$ ist, dann ist $g\bigl(\widehat\theta(X_1,\ldots,X_n)\bigr)$ bester erwartungstreuer Schätzer für $\theta$.

Beweis

$\;$ Die Behauptung ergibt sich unmittelbar aus Theorem 2.6, denn kann man zeigen, dass

$${\mathbb{E}\,}\bigl(g\bigl(\widehat\theta(X_1,\ldots,X_n)\bigr)\m... ...\theta(X_1,\ldots,X_n)\bigr)= g\bigl(\widehat\theta(X_1,\ldots,X_n)\bigr)\,,$$

vgl. Teilaussage 4 in Theorem 2.8.

$\Box$

Wir betrachten nun noch eine abgeschwächte Version von Theorem 2.6, die besagt, dass durch den Übergang zur bedingten Erwartung ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ auch dann eine Verbesserung der Schätzgenauigkeit erzielt werden kann, wenn nicht vorausgesetzt wird, dass $\widehat\theta(X_1,\ldots,X_n)$ vollständig ist.

Theorem 2.7    

• Seien $\widetilde\theta,\,\widehat\theta:\mathbb{R}^n\to\mathbb{R}$ beliebige Stichprobenfunktionen, so dass $\widetilde\theta(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer und $\widehat\theta(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$ ist, wobei ${\mathbb{E}\,}_\theta\bigl(\widetilde\theta(X_1,\ldots,X_n)^2\bigr) <\infty$ für jedes $\theta\in\Theta$.
• Dann ist die bedingte Erwartung ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ ein erwartungstreuer Schätzer für $\theta$ mit

  $${\rm Var\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta(X_1,... ...\ldots,X_n)\bigr)\Bigr)\le{\rm Var\,}_\theta\widetilde\theta(X_1,\ldots,X_n)\,,$$ (54)

  
  

Beweis

 

• Im Beweis von Theorem 2.6 hatten wir gezeigt, dass
  $${\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta(X... ...X_n)\bigr)\Bigr)={\mathbb{E}\,}_\theta\widetilde\theta(X_1,\ldots,X_n)=\theta$$
  und
  $${\mathbb{E}\,}_\theta\Bigl({\mathbb{E}\,}\bigl(\widetilde\theta(X... ...\bigr)^2\Bigr) \le{\mathbb{E}\,}_\theta\widetilde\theta^2(X_1,\ldots,X_n)\,.$$

• Hieraus ergibt sich die Behauptung, weil ${\rm Var\,}X={\mathbb{E}\,}(X^2)-({\mathbb{E}\,} X)^2$ für jede Zufallsvariable $X$ mit ${\mathbb{E}\,}(X^2)<\infty$.
  
  $\Box$

Beachte

 

• Die Ungleichung (54) wird in der Literatur Ungleichung von Rao-Blackwell genannt.
• Weil in Theorem 2.7 nicht vorausgesetzt wird, dass $\widehat\theta(X_1,\ldots,X_n)$ vollständig ist, muss die bedingte Erwartung ${\mathbb{E}\,}\bigl(\widetilde\theta(X_1,\ldots,X_n) \mid\widehat\theta(X_1,\ldots,X_n)\bigr)$ nicht notwendig bester erwartungstreuer Schätzer für $\theta$ sein.