Erwartungstreue; mittlerer quadratischer Fehler

Definition

 

• Es gelte
  $${\mathbb{E}\,}_\theta \vert\,\widehat\theta(X_1,\ldots,X_n)\vert<\infty\,,\qquad\forall\,\theta\in\Theta\,,$$
  wobei $\vert\,\widehat\theta(X_1,\ldots,X_n)\vert$ die Länge des Zufallsvektors $\,\widehat\theta(X_1,\ldots,X_n)$ bezeichnet.
• Dann heißt der Schätzer $\,\widehat\theta(X_1,\ldots,X_n)$
  • erwartungstreu, falls ${\mathbb{E}\,}_\theta \,\widehat\theta(X_1,\ldots,X_n)=\theta$ für jedes $\theta\in\Theta$,
  • asymptotisch erwartungstreu, falls $\lim\limits _{n\to\infty}{\mathbb{E}\,}_\theta \,\widehat\theta(X_1,\ldots,X_n)=\theta$ für jedes $\theta\in\Theta$.

Beachte

$\;$ Die folgende Sprechweise ist üblich:

• Die Verzerrung bzw. der Bias von $\,\widehat\theta(X_1,\ldots,X_n)$ unter $P_\theta$ ist die Differenz
  $${\rm Bias}_\theta \,\widehat\theta(X_1,\ldots,X_n)={\mathbb{E}\,}_\theta \,\widehat\theta(X_1,\ldots,X_n)-\theta\,.$$

• Falls
  $${\mathbb{E}\,}_\theta (\vert\,\wide... ...a(X_1,\ldots,X_n)-\theta\vert^2) <\infty\,,\qquad\forall\,\theta\in\Theta\,,$$
  dann heißt der Erwartungswert ${\mathbb{E}\,}_\theta (\vert\,\widehat\theta(X_1,\ldots,X_n)-\theta\vert^2)$ die mittlere quadratische Abweichung des Schätzers $\,\widehat\theta(X_1,\ldots,X_n)$ von dem zu schätzenden Parametervektor $\theta\in\Theta\subset\mathbb{R}^m$.
• Anstelle ,,mittlere quadratische Abweichung'' sagen wir auch kurz MQ-Fehler von $\,\widehat\theta(X_1,\ldots,X_n)$.

Im Fall eines eindimensionalen Parameters $\theta\in\mathbb{R}$ kann man den MQ-Fehler von $\,\widehat\theta(X_1,\ldots,X_n)$ wie folgt zerlegen.

Theorem 2.1   Falls $m=1$, d.h. $\Theta\subset\mathbb{R}$, dann gilt

$${\mathbb{E}\,}_\theta (\bigl(\,\widehat\theta(X_1,\ldots,X_n)-\t... ...s,X_n) +\bigl({\rm Bias}_\theta\, \,\widehat\theta(X_1,\ldots,X_n)\bigr)^2\,.$$ (24)

Falls $\,\widehat\theta(X_1,\ldots,X_n)$ erwartungstreu ist, dann gilt insbesondere

$${\mathbb{E}\,}_\theta (\bigl(\,\widehat\theta(X_1,\ldots,X_n)-\theta\bigr)^2)= {\rm Var\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\,.$$ (25)

Beweis

 

• Es gilt
  

  $${\mathbb{E}\,}_\theta\bigl((\,\widehat\theta(X_1,\ldots,X_n)-\theta)^2\bigr) = {\mathbb{E}\,}_\theta\bigl((\,\widehat\theta(X_1,\ldots,X_n))^2\bigr)-2\theta {\mathbb{E}\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)+\theta^2$$

  $$= {\mathbb{E}\,}_\theta\bigl((\,\widehat\theta(X_1,\ldots,X_n))^2\bigr)- \bigl({\mathbb{E}\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\bigr)^2$$

  $$+ \bigl({\mathbb{E}\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)\bigr)^2- 2\theta{\mathbb{E}\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)+\theta^2$$

  $$= {\rm Var\,}_\theta\,\widehat\theta(X_1,\ldots,X_n) +\bigl({\rm Bias}_\theta \,\widehat\theta(X_1,\ldots,X_n)\bigr)^2\,.$$

  
  

• Damit ist (24) bewiesen, und (25) ergibt sich unmittelbar aus der Definition der Erwartungstreue.
  
  $\Box$

Beachte

 

• Aus der Zerlegung (24) ergibt sich, dass der MQ-Fehler eines Schätzers $\,\widehat\theta(X_1,\ldots,X_n)$ genau dann klein ist, wenn sowohl die Varianz ${\rm Var\,}_\theta\,\widehat\theta(X_1,\ldots,X_n)$ als auch die Verzerrung Bias $_\theta \,\widehat\theta(X_1,\ldots,X_n)$ von $\,\widehat\theta(X_1,\ldots,X_n)$ klein sind.
• Um zu einem Schätzer mit einem kleinen MQ-Fehler zu gelangen, könnte man also unter den verfügbaren erwartungstreuen Schätzern denjenigen Schätzer mit der kleinsten Varianz auswählen.
• Manchmal ist es jedoch sinnvoll, den MQ-Fehler noch weiter zu verringern, indem man bei der Minimierung des MQ-Fehlers nicht nur erwartungstreue Schätzer betrachtet, sondern auch verzerrte Schätzer mit in die Betrachtung einbezieht.

Beispiele

 

1. $\;$ Normalverteilte Stichprobenvariablen 
   • Sei $(X_1,\ldots,X_n)$ eine normalverteilte Zufallsstichprobe mit $X_i\sim$ N $(\mu,\sigma^2)$.
   • In den Theoremen 1.1 bzw. 1.3 hatten wir gezeigt, dass $\overline X_n$ bzw. $S_n^2$ erwartungstreue Schätzer für $\mu$ bzw. $\sigma^2$ sind.
   • Außerdem hatten wir in den Theoremen 1.1 bzw. 1.3 gezeigt, dass die Varianz dieser Schätzer gegeben ist durch
     $${\rm Var\,}_\theta\overline X_n=\frac{\sigma^2}{n}$$   bzw.$$\qquad {\rm Var\,}_\theta (S_n^2)=\frac{1}{n}\Bigl(\mu^\prime_4-\frac{n-3}{n-1}\;\sigma^4\Bigr)\;,$$
     wobei $\mu_4^\prime={\mathbb{E}\,}\bigl((X_i-\mu)^4\bigr)$; $\theta=(\mu,\sigma^2)$.
   • Dabei vereinfacht sich die letzte Formel bei normalverteilten Stichprobenvariablen, denn ähnlich wie in Übungsaufgabe 1.2 kann $\mu_4^\prime$ durch Differenzieren der charakteristischen Funktion der N $(0,\sigma^2)$-Verteilung bestimmt werden.
   • Hieraus ergibt sich, dass
     $${\rm Var\,}_\theta (S_n^2)=\frac{2\sigma^4}{n-1}\;.$$

   • In den Abschnitten 2.2.1 bzw.  2.2.2 wurde der folgende (alternative) Schätzer für $\sigma^2$ konstruiert:
     $$\,\widehat\sigma^2(X_1,\ldots,X_n) = \frac{1}{n}\sum\limits _{i=1}^n \bigl(X_i-\overline X_n\bigr)^2$$

   • Dieser Schätzer ist nicht erwartungstreu, sondern nur asymptotisch erwartungstreu.
   • Für die Varianz von $\,\widehat\sigma^2(X_1,\ldots,X_n)$ gilt jedoch:
     $${\rm Var\,}_\theta\,\widehat\sigma^2(X_1,\ldots,X_n)=\Bigl(\frac{... ...rac{2(n-1)\sigma^4}{n^2}<\frac{2\sigma^4}{n-1}={\rm Var\,}_\theta (S_n^2)\,.$$

   • Aus Theorem 2.1 ergibt sich außerdem für den MQ-Fehler von $\,\widehat\sigma^2(X_1,\ldots,X_n)$ bzw. $S_n^2$, dass
     

     $${\mathbb{E}\,}_\theta\bigl((\,\widehat\sigma^2(X_1,\ldots,X_n)-\sigma^2)^2\bigr) = {\rm Var\,}_\theta\,\widehat\sigma^2(X_1,\ldots,X_n)+\bigl({\rm Bias}_\theta\,\,\widehat\sigma^2(X_1,\ldots,X_n)\bigr)^2$$

     $$= \frac{2(n-1)\sigma^4}{n^2}+\Bigl(\frac{n-1}{n}\;\sigma^2-\sigma^2\Bigr)^2$$

     $$= \frac{(2n-1)\sigma^4}{n^2}$$

     $$< \frac{2\sigma^4}{n-1}$$

     $$= {\mathbb{E}\,}_\theta\bigl((S_n^2-\sigma^2)^2\bigr)\,.$$

     
     

   • Der Schätzer $\,\widehat\sigma^2(X_1,\ldots,X_n)$ für $\sigma^2$ hat also einen kleineren MQ-Fehler als $S_n^2$.
   • Andererseits besteht ein Nachteil des Schätzers $\,\widehat\sigma^2(X_1,\ldots,X_n)$ darin, dass $\,\widehat\sigma^2(X_1,\ldots,X_n)$ die Modellvarianz $\sigma^2$ systematisch unterschätzt.
2. $\;$ Bernoulli-verteilte Stichprobenvariablen 
   • Sei nun $(X_1,\ldots,X_n)$ eine Bernoulli-verteilte Zufallsstichprobe mit $X_i\sim$ Bin$(1,p)$.
   • Der Maximum-Likelihood-Schätzer
     $$\,\widehat p(X_1,\ldots,X_n)= \overline X_n$$
     für den Parameter $p$, den wir in Abschnitt 2.2.2 hergeleitet hatten, ist erwartungstreu.
   • Für den MQ-Fehler dieses Schätzers gilt somit, dass

     $${\mathbb{E}\,}_p\bigl( (\,\widehat p(X_1,\ldots,X_n)-p)^2\bigr)={\rm Var\,}_p\overline X_n=\frac{p(1-p)}{n}\;.$$ (26)

     
     

   • Außerdem hatten wir in Abschnitt 2.2.3 den Bayes-Schätzer $\widetilde p(Y)$ für $p$ konstruiert mit
     $$\widetilde p(Y) = \frac{Y+\alpha}{\alpha+\beta+n}\;,\qquad Y=\sum\limits_{i=1}^n X_i\,.$$

   • Aus Theorem 2.1 ergibt sich für den MQ-Fehler dieses Bayes-Schätzers, dass
     

     $${\mathbb{E}\,}_p\bigl((\,\widetilde p(Y)-p)^2\bigr) = {\rm Var\,}_p\,\widetilde p (Y)+\bigl({\rm Bias}_p\,\,\widetilde p(Y)\bigr)^2$$

     $$= {\rm Var\,}_p\Bigl(\frac{Y+\alpha}{\alpha+\beta+n}\Bigr)+\Bigl({\mathbb{E}\,}_p\, \frac{Y+\alpha}{\alpha+\beta+n}-p\Bigr)^2$$

     $$= \frac{np(1-p)}{(\alpha+\beta+n)^2}+ \Bigl( \frac{np+\alpha}{\alpha+\beta+n}-p\Bigr)^2\,.$$

     
     

   • Falls keine spezielle a-priori-Information über den Parameter $p$ vorliegt, dann erscheint es sinnvoll, $\alpha$ und $\beta$ so wählen, dass der MQ-Fehler des Bayes-Schätzers $\widetilde p(Y)$ nicht von $p$ abhängt.
   • Für $\alpha=\beta=\sqrt{n/4}$ gilt nämlich (vgl. Übungsaufgabe 6.1), dass

     $${\mathbb{E}\,}_p\bigl((\,\widetilde p(Y)-p)^2\bigr)=\frac{n}{4(n+\sqrt{n})^2}\;.$$ (27)

     
     

   • Aus (26) und (27) ergibt sich dann, dass der MQ-Fehler des Bayes-Schätzers $\,\widetilde p(Y)$ bei kleinem Stichprobenumfang $(n\approx 4)$ deutlich kleiner als der MQ-Fehler von $\overline X_n$ ist (es sei denn, dass $p$ nahe bei 0 oder 1 liegt).
   • Umgekehrt ist der MQ-Fehler von $\overline X_n$ bei großem Stichprobenumfang $(n\approx 400)$ deutlich kleiner als der MQ-Fehler von $\,\widetilde p(Y)$ (es sei denn, dass $p$ nahe bei 1/2 liegt).