Kleinste-Quadrate-Schätzer

• Zur Erinnerung: Bei der Konstruktion von Schätzern für (reellwertige) Modellparameter geht man wie folgt vor.
  • Man betrachtet eine Abbildung $\varphi:\mathbb{R}^n\to\mathbb{R}$, die den beobachteten Daten $y_1,\ldots,y_n$, d.h. jeder Realisierung $(y_1,\ldots,y_n)$ der Zufallsstichprobe $(Y_1,\ldots,Y_n)$, den Schätzwert $\varphi(y_1,\ldots,y_n)$ zuordnet.
  • Der zugehörige Schätzer ist dann die (reellwertige) Zufallsvariable $\varphi(Y_1,\ldots,Y_n):\Omega\to\mathbb{R}$, die sich ergibt, wenn die Abbildungen $Y_1,\ldots,Y_n:\Omega\to\mathbb{R}$ und $\varphi:\mathbb{R}^n\to\mathbb{R}$ nacheinander ausgeführt werden.
  • Zur Vereinfachung der Schreibweise werden wir gelegentlich sowohl den Schätzer als auch den (aus den jeweils beobachteten Daten bestimmten) Schätzwert mit $\varphi(Y_1,\ldots,Y_n)$ bezeichnen.
• Mit der bereits in Abschnitt 2.5.2 diskutierten Methode der kleinsten Quadrate erhalten wir die folgenden Schätzer $\widehat\alpha$, $\widehat\beta$ bzw. $S^2$ für die Modellparameter $\alpha$, $\beta$ und $\sigma^2$:

  $$\widehat\alpha=\sum\limits_{i=1}^n\Biggl(\frac{1}{n}-\frac{\overl... ...ne x_n}{\displaystyle\sum\limits_{j=1}^n\bigl(x_j-\overline x_n\bigr)^2}\;Y_i$$ (4)

  
  

  und

  $$S^2=\frac{1}{n-2}\;\sum\limits_{i=1}^n\Bigl(Y_i-\widehat\alpha-\widehat\beta x_i\Bigr)^2\,.$$ (5)

  
  

• Hieraus ergibt sich für die Erwartungswerte dieser Schätzer, dass

  $${\mathbb{E}\,}\widehat\alpha=\alpha\,,\qquad {\mathbb{E}\,} \widehat\beta=\beta\,,\qquad {\mathbb{E}\,}S^2=\sigma^2\,,$$ (6)

  
  
  • d.h., die Modellparameter $\alpha$, $\beta$ bzw. $\sigma^2$ werden im Mittel durch $\widehat\alpha$, $\widehat\beta$ bzw. $S^2$ ,,richtig'' geschätzt.
  • Mit anderen Worten: $\widehat\alpha$, $\widehat\beta$ bzw. $S^2$ sind sogenannte erwartungstreue Schätzer für $\alpha$, $\beta$ bzw. $\sigma^2$.
• Für die Varianzen der Schätzer $\widehat\alpha$ und $\widehat\beta$ gilt:

  $${\rm Var\,}\widehat\alpha =\frac{\displaystyle\sigma^2\sum\limits... ...,}\widehat\beta= \frac{\sigma^2}{\sum\limits_{i=1}^n(x_i-\overline x_n)^2}\;.$$ (7)

  
  

• Beachte 
  • Die in (4) betrachteten Schätzer $\widehat\alpha$ und $\widehat\beta$ für $\alpha$ bzw. $\beta$ sind sogenannte lineare Schätzer, d.h., sie sind Linearkombinationen der Stichprobenvariablen $Y_1,\ldots,Y_n$.
  • Die linearen Schätzer $\widehat\alpha$ und $\widehat\beta$ sind im allgemeinen nicht unabhängig, denn für die Kovarianz ${\rm Cov\,}(\widehat\alpha,\widehat\beta)$ von $\widehat\alpha$ und $\widehat\beta$ gilt:

    $${\rm Cov\,}(\widehat\alpha,\widehat\beta)=-\;\frac{\sigma^2\overline x_n }{\sum\limits_{i=1}^n(x_i-\overline x_n)^2}\;.$$ (8)