Beste erwartungstreue Schätzer

In diesem Abschnitt setzen wir erneut voraus, dass der Parameter $\theta$ eine relle Zahl ist, d.h., es gelte $m=1$ bzw. $\Theta\subset\mathbb{R}$.

Definition

 

• Sei $\theta^*:\mathbb{R}^n\to\Theta$ eine Stichprobenfunktion, so dass für jedes $\theta\in\Theta$
  $${\mathbb{E}\,}_\theta\theta^*(X_1,\ldots,X_n)=\theta$$   und$$\qquad {\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n)<\infty\,.$$

• Falls für jede Stichprobenfunktion $\,\widehat\theta:\mathbb{R}^n\to\Theta$ mit
  $${\mathbb{E}\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)=\theta\,,\qquad\forall\, \theta\in\Theta$$
  die Ungleichung
  $${\rm Var\,}_\theta\theta^*(X_1,\ldot... ...,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\,,\qquad\forall\, \theta\in\Theta\$$
  gilt, dann heißt $\theta^*(X_1,\ldots,X_n)$ bester erwartungstreuer Schätzer für $\theta$.

Beachte

 

• Bevor wir zeigen, welche erwartungstreuen Schätzer beste erwartungstreue Schätzer sind, diskutieren wir zunächst einige grundlegende Eigenschaften solcher Schätzer.
• Als erstes zeigen wir den folgenden Eindeutigkeitssatz für beste erwartungstreue Schätzer.

Lemma 2.6   Es gibt höchstens einen besten erwartungstreuen Schätzer für $\theta$, d.h., falls $\theta^*(X_1,\ldots,X_n)$ ein bester erwartungstreuer Schätzer für $\theta$ ist, dann ist $\theta^*(X_1,\ldots,X_n)$ mit Wahrscheinlichkeit $1$ eindeutig bestimmt.

Beweis

 

• Wir führen einen indirekten Beweis und nehmen an, dass $\theta^*(X_1,\ldots,X_n)$ ein bester erwartungstreuer Schätzer für $\theta$ ist und dass es noch einen weiteren besten erwartungstreuen Schätzer $\theta^\prime(X_1,\ldots,X_n)$ für $\theta$ gibt.
• Dann ist auch
  $$\theta^{\prime\prime}(X_1,\ldots,X_n)=\frac{1}{2}\bigl( \theta^*(X_1,\ldots,X_n)+\theta^\prime(X_1,\ldots,X_n)\bigr)$$
  ein erwartungstreuer Schätzer für $\theta$, und es gilt
  

  $${\rm Var\,}_\theta\theta^{\prime\prime}(X_1,\ldots,X_n) = {\rm Var\,}_\theta\Bigl( \frac{1}{2}\, \theta^*(X_1,\ldots,X_n)+\frac{1}{2}\,\theta^\prime(X_1,\ldots,X_n)\Bigr)$$

  $$\stackrel{\rm Theorem~WR-4.13}{=} \frac{1}{4}\,{\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n) +\frac{1}{4}\,{\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)$$

  $$+\frac{1}{2}\,{\rm Cov\,}_\theta\bigl(\theta^*(X_1,\ldots,X_n),\theta^\prime(X_1,\ldots,X_n)\bigr)$$

  $$\stackrel{\rm Theorem~WR-4.11}{\le} \frac{1}{4}\,{\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n) +\frac{1}{4}\,{\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)$$

  $$+\frac{1}{2}\,\Bigl({\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n)\, {\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)\Bigr)^{1/2}$$

  $$= {\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n)\,,$$

  
  
  wobei in der letzten Gleichheit die Annahme genutzt wurde, dass
  $${\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n)={\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)\,.$$

• Hieraus folgt, dass die Ungleichung in dieser Rechnung eine Gleichheit sein muss, weil ansonsten $\theta^*(X_1,\ldots,X_n)$ nicht bester erwartungstreuer Schätzer für $\theta$ wäre.
• Mit anderen Worten: Der Korrelationskoeffizient von $\theta^*(X_1,\ldots,X_n)$ und $\theta^\prime(X_1,\ldots,X_n)$ ist gleich $1$.
• Wegen Theorem WR-4.12 gibt es somit Zahlen $a(\theta),b(\theta)\in\mathbb{R}$, so dass mit Wahrscheinlichkeit $1$
  $$\theta^\prime(X_1,\ldots,X_n)=a(\theta)\theta^*(X_1,\ldots,X_n)+b(\theta)\,.$$

• Aus den Rechenregeln für die Kovarianz (vgl. Theorem WR-4.11) ergibt sich nun, dass
  

  $${\rm Cov\,}_\theta\bigl(\theta^*(X_1,\ldots,X_n),\theta^\prime(X_1,\ldots,X_n)\bigr) = {\rm Cov\,}_\theta\bigl(\theta^*(X_1,\ldots,X_n),a(\theta)\theta^*(X_1,\ldots,X_n)+b(\theta)\bigr)$$

  $$= {\rm Cov\,}_\theta\bigl(\theta^*(X_1,\ldots,X_n),a(\theta)\theta^*(X_1,\ldots,X_n)\bigr)$$

  $$= a(\theta) {\rm Var\,}_\theta \theta^*(X_1,\ldots,X_n)\,.$$

  
  

• Weil wir andererseits gezeigt hatten, dass
  

  $${\rm Cov\,}_\theta\bigl(\theta^*(X_1,\ldots,X_n),\theta^\prime(X_1,\ldots,X_n)\bigr) = \Bigl({\rm Var\,}_\theta \theta^*(X_1,\ldots,X_n)\,{\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)\Bigr)^{1/2}$$

  $$= {\rm Var\,}_\theta\theta^*(X_1,\ldots,X_n)\,,$$

  
  
  folgt somit, dass $a(\theta)=1$.
• Wegen ${\mathbb{E}\,}_\theta\theta^\prime(X_1,\ldots,X_n)={\mathbb{E}\,}_\theta\theta^*(X_1,\ldots,X_n)$ ergibt sich hieraus, dass $b(\theta)=0$ bzw.
  $$\theta^\prime(X_1,\ldots,X_n)=\theta^*(X_1,\ldots,X_n)\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Wir leiten nun ein Kriterium dafür her, dass ein erwartungstreuer Schätzer für $\theta$ gleichzeitig bester erwartungstreuer Schätzer ist.
• Das ist zunächst ein formales (d.h. nicht direkt nachprüfbares) Kriterium, welches jedoch bei der Herleitung des Hauptergebnisses dieses Abschnittes in Theorem 2.5 bzw. bei dessen Verallgemeinerung in Theorem 2.6 sehr nützlich ist.
• Hierfür benötigen wir noch den folgenden Begriff.

Definition

$\;$ Sei $\varphi:\mathbb{R}^n\to\mathbb{R}$ eine beliebige Stichprobenfunktion mit ${\mathbb{E}\,}_\theta\bigl((\varphi(X_1,\ldots,X_n))^2\bigr)<\infty$ für jedes $\theta\in\Theta$. Falls ${\mathbb{E}\,}_\theta\varphi(X_1,\ldots,X_n)=0$ für jedes $\theta\in\Theta$, dann sagen wir, dass $\varphi(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer für 0 ist.

Lemma 2.7   Sei $\widehat\theta(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer für $\theta$ mit

$${\mathbb{E}\,}_\theta\bigl(\bigl(\wi... ...ta(X_1,\ldots,X_n)\bigr)^2\bigr) <\infty\,,\qquad\forall\,\theta\in\Theta\,.$$

Dann ist $\widehat\theta(X_1,\ldots,X_n)$ genau dann bester erwartungstreuer Schätzer für $\theta$, wenn $\widehat\theta(X_1,\ldots,X_n)$ unkorreliert ist mit jedem erwartungstreuen Schätzer für 0.

Beweis

 

• Sei $\widehat\theta(X_1,\ldots,X_n)$ bester erwartungstreuer Schätzer für $\theta$, und sei $\varphi(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer für 0.
• Für jedes $a\in\mathbb{R}$ ist dann auch $\theta^\prime(X_1,\ldots,X_n)=\widehat\theta(X_1,\ldots,X_n)+a\varphi(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer für $\theta$, und es gilt
  

  $${\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n) = {\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n)+2a{\rm Cov\,}_\theta\bigl( \widehat\theta(X_1,\ldots,X_n),\,\varphi(X_1,\ldots,X_n)\bigr)$$

  $$\hspace{3.1cm} +a^2{\rm Var\,}_\theta\varphi(X_1,\ldots,X_n)\,.$$

  
  

• Wir führen einen indirekten Beweis und nehmen an, dass es ein $\theta_0\in\Theta$ gibt, so dass
  $${\rm Cov\,}_{\theta_0}\bigl( \widehat\theta(X_1,\ldots,X_n),\,\varphi(X_1,\ldots,X_n)\bigr)\not=0\,,$$

• Dann gibt es ein $a\in\mathbb{R}$, so dass
  $$2a{\rm Cov\,}_{\theta_0}\bigl( \widehat\theta(X_1,\ldots,X_n),\,... ...X_1,\ldots,X_n)\bigr) +a^2{\rm Var\,}_{\theta_0}\varphi(X_1,\ldots,X_n)<0\,.$$

• Hieraus folgt, dass
  $${\rm Var\,}_{\theta_0}\theta^\prime(X_1,\ldots,X_n)<{\rm Var\,}_{\theta_0}\widehat\theta(X_1,\ldots,X_n)\,,$$
  was im Widerspruch zu der Annahme steht, dass $\widehat\theta(X_1,\ldots,X_n)$ bester erwartungstreuer Schätzer für $\theta$ ist.
• Also ist

  $${\rm Cov\,}_\theta\bigl( \widehat\t... ...ts,X_n),\,\varphi(X_1,\ldots,X_n)\bigr)=0\,, \qquad\forall\,\theta\in\Theta\,.$$ (50)

  
  

• Damit ist die Notwendigkeit der Bedingung (50) bweisen.
• Es gelte nun (50) für jeden erwartungstreuen Schätzer $\varphi(X_1,\ldots,X_n)$ für 0.
• Sei $\theta^\prime(X_1,\ldots,X_n)$ ein anderer erwartungstreuer Schätzer für $\theta$ mit
  $${\mathbb{E}\,}_\theta\bigl((\theta^\prime(X_1,\ldots,X_n))^2\bigr)<\infty\,, \qquad\forall\theta\in\Theta\,.$$

• Wegen der Identität
  $$\theta^\prime(X_1,\ldots,X_n)=\widehat\theta(X_1,\ldots,X_n)+ \bigl(\theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)\bigr)$$
  ergibt sich aus Theorem WR-4.13, dass
  

  $${\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n) = {\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n) +{\rm Var\,}_\theta\bigl(\theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)\bigr)$$

  $$+2{\rm Cov\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n),\, \theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)\bigr)$$

  $$= {\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n) +{\rm Var\,}_\theta\bigl(\theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)\bigr)\,,$$

  
  
  wobei sich die letzte Gleichheit aus (50) ergibt, weil $\theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)$ ein erwartungstreuer Schätzer $\varphi(X_1,\ldots,X_n)$ für 0 ist.
• Weil
  $${\rm Var\,}_\theta\bigl(\theta^\prime(X_1,\ldots,X_n)-\widehat\theta(X_1,\ldots,X_n)\bigr)\ge 0\,,$$
  ergibt sich nun, dass
  $${\rm Var\,}_\theta\theta^\prime(X_1,\ldots,X_n)\ge{\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n)\,,$$
  d.h., $\widehat\theta(X_1,\ldots,X_n)$ ist bester erwartungstreuer Schätzer für $\theta$.
  
  $\Box$

Mit Hilfe von Lemma 2.7 lässt sich nun das folgende Ergebnis herleiten, das in der Literatur Satz von Lehmann-Scheffé genannt wird.

Theorem 2.5    

• Sei $\{P_\theta,\,\theta\in\Theta\}$ ein beliebiges parametrisches Modell mit $\Theta\subset\mathbb{R}$, und sei $\widehat\theta:\mathbb{R}^n\to\mathbb{R}$ eine beliebige Stichprobenfunktion, so dass $\widehat\theta(X_1,\ldots,X_n)$ ein vollständiger und suffizienter Schätzer für $\theta$ ist.
• Falls $\widehat\theta(X_1,\ldots,X_n)$ erwartungstreu für $\theta$ ist und falls
  $${\mathbb{E}\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)^2\bigr) <\infty\,,\qquad\forall\,\theta\in\Theta\,,$$
  dann ist $\widehat\theta(X_1,\ldots,X_n)$ bester erwartungstreuer Schätzer für $\theta$.

Beweis

 

• Sei $\widehat\theta(X_1,\ldots,X_n)$ ein vollständiger und suffizienter Schätzer für $\theta$, der erwartungstreu für $\theta$ ist und dessen Varianz für jedes $\theta\in\Theta$ endlich ist.
• Wegen Lemma 2.7 genügt es zu zeigen, dass $\widehat\theta(X_1,\ldots,X_n)$ unkorreliert ist mit jedem erwartungstreuen Schätzer $\varphi(X_1,\ldots,X_n)$ für 0.
• Hierfür genügt es zu zeigen, dass

  $${\mathbb{E}\,}_\theta\bigl(\widehat\... ...ots,X_n)\, \varphi(X_1,\ldots,X_n)\bigr)=0\,,\qquad\forall\,\theta\in\Theta\,,$$ (51)

  
  
  weil ${\mathbb{E}\,}_\theta\varphi(X_1,\ldots,X_n)=0$ für jedes $\theta\in\Theta$.
• Wir benutzen die folgende Formel der totalen Wahrscheinlichkeit:
  

  $${ P_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)\varphi(X_1,\ldots,X_n)\in B\bigr)}$$

  $$= \int\limits_\mathbb{R}P_\theta\bigl( \widehat\theta(X_1,\ldots,X_... ...dehat\theta(X_1,\ldots,X_n)}(t)\,,\qquad\forall\,B\in\mathcal{B}(\mathbb{R})\,,$$

  
  
  die sich unmittelbar aus Theorem WR-2.6 ergibt, falls $\widehat\theta(X_1,\ldots,X_n)$ eine diskrete Zufallsvariable ist (ansonsten kann man die Gültigkeit dieser Formel mittels Grenzwertbildung so wie in (45) erklären).
• Hieraus folgt, dass
  $${\mathbb{E}\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)\, \var... ...at\theta(X_1,\ldots,X_n)=t\bigr) \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)\,,$$
  wobei ${\mathbb{E}\,}_\theta\bigl( \varphi(X_1,\ldots,X_n)\mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)$ den Erwartungswert der (bedingten) Verteilung
  $$\bigl\{P_\theta\bigl( \varphi(X_1,\ldots,X_n)\in B \mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)\,,\,B\in\mathcal{B}(\mathbb{R})\bigr\}$$
  bezeichnet mit
  

  $${ P_\theta\bigl(\varphi(X_1,\ldots,X_n)\in B \mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)}$$

  $$= \lim\limits_{\varepsilon\downarrow 0}P_\theta\bigl(\varphi(X_1,\l... ...n B \mid\widehat\theta(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)\,.$$

  
  

• Weil $\widehat\theta(X_1,\ldots,X_n)$ suffizient ist, hängt ${\mathbb{E}\,}_\theta\bigl( \varphi(X_1,\ldots,X_n)\mid\widehat\theta(X_1,\ldots,X_n)=t\bigr)$ lediglich von $t$, jedoch nicht von $\theta$ ab, d.h., es gibt eine (messbare) Funktion $g:\mathbb{R}\to\mathbb{R}$, so dass
  $$g(t)={\mathbb{E}\,}_\theta\bigl( \v... ...d\widehat\theta(X_1,\ldots,X_n)=t\bigr)\,, \qquad\forall\,\theta\in\Theta\,.$$

• Somit gilt
  

  $${\mathbb{E}\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)\, \varphi(X_1,\ldots,X_n)\bigr) = \int\limits_\mathbb{R}t g(t) \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= {\mathbb{E}\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)\,g(\widehat\theta(X_1,\ldots,X_n))\bigr)\,,$$

  
  
  d.h. ${\mathbb{E}\,}_\theta\bigl(\widehat\theta(X_1,\ldots,X_n)\, \varphi(X_1,\ldot... ...ta\bigl(\widehat\theta(X_1,\ldots,X_n)\,g(\widehat\theta(X_1,\ldots,X_n))\bigr)$.
• Hieraus ergibt sich die Gültigkeit von (51), denn aus der Formel der totalen Wahrscheinlichkeit folgt, dass
  

  $${\mathbb{E}\,}_\theta g(\widehat\theta(X_1,\ldots,X_n)) = \int\limits_\mathbb{R}g(t) \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= \int\limits_\mathbb{R}{\mathbb{E}\,}_\theta\bigl( \varphi(X_1,\ld... ...\widehat\theta(X_1,\ldots,X_n)=t\bigr) \,dF_{\widehat\theta(X_1,\ldots,X_n)}(t)$$

  $$= {\mathbb{E}\,}_\theta \varphi(X_1,\ldots,X_n)=0$$

  
  
  und somit dass $P_\theta\bigl(g(\widehat\theta(X_1,\ldots,X_n))=0\bigr)=1$ für jedes $\theta\in\Theta$, weil $\widehat\theta(X_1,\ldots,X_n)$ vollständig ist.
  
  $\Box$