Beste lineare erwartungstreue Schätzer

• In Abschnitt 5.1.1 wurden keine spezifischen Modellannahmen über die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ benötigt.
• Allerdings konnten deshalb in Abschnitt 5.1.1 auch keine Güteeigenschaften der MKQ-Schätzer $\widehat\alpha$, $\widehat\beta$ (außer der Minimierung des mittleren quadratischen Fehlers $e(\alpha,\beta)$) hergeleitet werden.
• Nun setzen wir zusätzlich voraus, dass die Zufallsvariablen $\varepsilon _1,\ldots,\varepsilon _n$ unkorreliert sind und dass

  $${\mathbb{E}\,}\varepsilon _i=0\,,\qquad{\rm Var\,}\varepsilon _i=\sigma^2$$ (5)

  
  
  für jedes $i=1,\ldots,n$ gilt, wobei $\sigma^2>0$ eine gewisse (im allgemeinen unbekannte) Konstante ist.
• Die Ausgangsvariablen $X_1,\ldots,X_n$ seien deterministisch, d.h., es gelte $X_1=x_1,\ldots,X_n=x_n$ für fest vorgegebene (d.h. bekannte) Zahlen $x_1,\ldots,x_n\in \mathbb{R}$, wobei wir stets voraussetzen, dass $n\ge 2$ und dass nicht alle $x_1,\ldots,x_n$ gleich sind.
• Für die Zielvariablen $Y_1,\ldots,Y_n$ gilt dann für jedes $i=1,\ldots,n$

  $$Y_i=\alpha+\beta x_i+\varepsilon _i\,,$$ (6)

  
  
  und aus den allgemeinen Rechenregeln für Erwartungswert bzw. Varianz (vgl. die Abschnitte WR-4.1 bzw. WR-4.2 der Vorlesung ,,Wahrscheinlichkeitsrechnung'') ergibt sich für jedes $i=1,\ldots,n$

  $${\mathbb{E}\,}Y_i=\alpha+\beta x_i\,,\qquad {\rm Var\,}Y_i=\sigma^2\,.$$ (7)

  
  

• Die Regressionskonstante $\alpha$ und der Regressionskoeffizient $\beta$ sollen nun mit einem linearen Schätzer aus den beobachteten Realisierungen $y_1,\ldots,y_n$ der Zielvariablen $Y_1,\ldots,Y_n$ geschätzt werden.
• Dabei verstehen wir unter einem linearen Schätzer eine Linearkombination $d_1Y_1+\ldots+d_nY_n$ der Zielvariablen, wobei $d_1,\ldots,d_n\in\mathbb{R}$ fest vorgegebene (d.h. bekannte) Konstanten sind.

Theorem 5.2   $\;$ Der lineare Schätzer $\widehat\beta=d_1Y_1+\ldots+d_nY_n$ ist genau dann ein erwartungstreuer Schätzer für $\beta$, wenn

$$\sum\limits_{i=1}^n d_i=0 \qquad \sum\limits_{i=1}^n d_ix_i=1\,.$$ (8)

Beweis

 

• Der Schätzer $\widehat\beta=d_1Y_1+\ldots+d_nY_n$ ist erwartungstreu für $\beta$, wenn
  $${\mathbb{E}\,}\widehat\beta={\mathbb{E}\,}\sum\limits_{i=1}^n d_iY_i=\beta$$
  für beliebige Parameterwerte $\alpha,\beta\in\mathbb{R}$ gilt.
• Wegen (6) und (7) bedeutet dies, dass
  

  $$\beta = {\mathbb{E}\,}\sum\limits_{i=1}^n d_iY_i=\sum\limits_{i=1}^n d_i{\mathbb{E}\,} Y_i$$

  $$= \sum\limits_{i=1}^n d_i(\alpha+\beta x_i)$$

  $$= \alpha \Bigl(\sum\limits_{i=1}^n d_i\Bigr)+\beta\Bigl(\sum\limits_{i=1}^n d_ix_i\Bigr)\,.$$

  
  

• Es ist klar, dass diese Gleichung genau dann für alle $\alpha,\beta\in\mathbb{R}$ gilt, wenn die Bedingungen (8) erfüllt sind.
  
  $\Box$

Beachte

 

• In Abschnitt 2.3.5 hatten wir einen erwartungstreuen Schätzer besten erwartungstreuen Schätzer genannt, wenn seine Varianz minimal ist.
• Analog hierzu wird ein linearer erwartungstreuer Schätzer bester linearer erwartungstreuer Schätzer genannt, wenn es keinen linearen erwartungstreuen Schätzer gibt, dessen Varianz kleiner ist.
• In der englischsprachigen Literatur ist es üblich, solche Schätzer BLUE zu nennen (BLUE = best linear unbiased estimator).

Theorem 5.3   $\;$ Der lineare Schätzer $\widehat\beta=d_1Y_1+\ldots+d_nY_n$ ist genau dann ein BLUE-Schätzer für $\beta$, wenn die Konstanten $d_1,\ldots,d_n\in\mathbb{R}$ gegeben sind durch

$$d_i=\frac{x_i-\overline x_n}{(n-1)s^2_{xx}}\,,\qquad\forall\,i=1,\ldots,n\,.$$ (9)

Beweis

 

• Weil mit den Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ auch die Zielvariablen $Y_1,\ldots,Y_n$ unkorreliert sind, ergibt sich aus der allgemeinen Formel für die Varianz der Summe von unkorrelierten Zufallsvariablen (vgl. Theorem WR-4.13), dass
  

  $${\rm Var\,}\sum\limits_{i=1}^n d_iY_i = \sum\limits_{i=1}^n {\rm Var\,}(d_iY_i)$$

  $$= \sum\limits_{i=1}^n d_i^2{\rm Var\,}Y_i$$

  $$= \sigma^2\sum\limits_{i=1}^n d_i^2$$

  
  
  für beliebige Konstanten $d_1,\ldots,d_n\in\mathbb{R}$.
• Der Schätzer $\widehat\beta=d_1Y_1+\ldots+d_nY_n$ ist also genau dann ein BLUE-Schätzer für $\beta$, wenn die Konstanten $d_1,\ldots,d_n\in\mathbb{R}$ so gewählt sind, dass die Bedingung (8) erfüllt ist und dass die Summe $\sum_{i=1}^n d_i^2$ minimal ist.
• Wegen (8) gilt $\sum\limits_{i=1}^n d_ix_i=1$ und somit

  $$\frac{\Bigl(\sum\limits_{i=1}^n d_ix_i\Bigr)^2}{\sum\limits_{i=1}^n d_i^2}=\frac{1}{\sum\limits_{i=1}^n d_i^2}\;.$$ (10)

  
  

• Die Summe $\sum_{i=1}^n d_i^2$ ist also genau dann minimal, wenn die linke Seite von (10) maximal ist.
• Weil darüber hinaus $\overline d_n=n^{-1}\sum_{i=1}^n d_i=0$, gilt außerdem
  

  $$\frac{\Bigl(\sum\limits_{i=1}^n d_ix_i\Bigr)^2}{\sum\limits_{i=1}^n d_i^2} = \frac{\Bigl(\sum\limits_{i=1}^n (d_i-\overline d_n) (x_i-\overline x_n) \Bigr)^2}{\sum\limits_{i=1}^n \bigl(d_i-\overline d_n\bigr)^2}$$

  $$= n\sum\limits_{i=1}^n \frac{\bigl(x_i-\overline x_n\bigr)^2}{n}\;\... ...s_{i=1}^n \displaystyle\frac{\bigl(x_i-\overline x_n\bigr)^2}{n}}} \right)^2\,.$$

  
  

• Der quadrierte Ausdruck kann nun als Korrelationskoeffizient aufgefasst werden bei (diskreter) Gleichverteilung der natürlichen Zahlen ${1,\ldots,n}$ und zwar
  • für den Wahrscheinlichkeitsraum $(\Omega,\mathcal{F},\mathbb{P})$ mit $\Omega=\{1,\ldots,n\}$, $\mathcal{F}=\mathcal{P}(\Omega)$ und $\mathbb{P}(\{i\})=1/n$, sowie
  • für die Zufallsvariablen $D,X:\Omega\to\mathbb{R}$ mit $D(i)=d_i$ und $X(i)=x_i$.
• Gemäß Theorem WR-4.12 ist also dieser quadrierte Ausdruck genau dann maximal, wenn es Konstanten $a,b\in\mathbb{R}$ gibt, so dass

  $$d_i=a x_i+b\,,\qquad\forall\, i=1,\ldots,n\,.$$ (11)

  
  

• Wegen (8) müssen die Konstanten $a,b\in\mathbb{R}$ den folgenden beiden Gleichungen genügen:
  $$\sum\limits_{i=1}^n (ax_i+b)=0\,,\qquad \sum\limits_{i=1}^n (ax_i+b)x_i=1\,.$$

• Hieraus folgt, dass
  $$b=-a\overline x_n\,,\qquad a=\frac{1}{\sum\limits_{i=1}^n(x_i-\overline x_n)^2}\,.$$

• Wird dies in (11) eingesetzt, so ergibt sich die Behauptung (9).
  
  $\Box$

Beachte

 

• Der in Theorem 5.3 hergeleitete BLUE-Schätzer

  $$\widehat\beta=\sum\limits_{i=1}^n\frac{x_i-\overline x_n}{(n-1)s... ...e x_n)(Y_i-\overline Y_n)}{(n-1)s^2_{xx}}\quad \Bigl(=s^2_{xY}/s^2_{xx}\Bigr)$$ (12)

  
  
  für $\beta$ stimmt mit dem in Theorem 5.1 hergeleiteten MKQ-Schätzansatz überein.
• Aus dem Beweis von Theorem 5.3 ist ersichtlich, dass die Varianz des BLUE-Schätzers $\widehat\beta$ in (12) gegeben ist durch:

  $${\rm Var\,}\widehat\beta=\sigma^2\sum\limits_{i=1}^n d_i^2=\frac... ...2}{(n-1)s^2_{xx}}=\frac{\sigma^2}{\sum\limits_{i=1}^n(x_i-\overline x_n)^2}\;.$$ (13)

  
  

Übungsaufgabe

 

• Auf ähnliche Weise wie in den Theoremen 5.2 und 5.3 lässt sich ein BLUE-Schätzer $\widehat\alpha=c_1Y_1+\ldots+c_nY_n$ für die Regressionskonstante $\alpha$ bestimmen.
• Und zwar lässt sich wie im Beweis von Theorem 5.2 zeigen, dass

  $$\sum\limits_{i=1}^n c_i=1 \qquad \sum\limits_{i=1}^n c_ix_i=0$$ (14)

  
  
  gelten muss, damit $\widehat\alpha$ ein erwartungstreuer Schätzer für $\alpha$ ist.
• Außerdem lässt sich wie im Beweis von Theorem 5.3 zeigen, dass die Varianz von $\widehat\alpha=c_1Y_1+\ldots+c_nY_n$ minimal ist, wenn

  $$c_i=\frac{1}{n}\;-\;\frac{\overline x_n(x_i-\overline x_n)}{(n-1)s^2_{xx}}\;,\qquad\forall\, i=1,\ldots,n\,.$$ (15)