Methode der kleinsten Quadrate

• Wir diskutieren zunächst die folgende Methode der kleinsten Quadrate (MKQ) zur Bestimmung von Schätzwerten $\widehat\alpha$, $\widehat\beta$ für die unbekannten Parameter $\alpha,\beta$, bei der keine zusätzlichen Voraussetzungen über die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ benötigt werden.
• Und zwar sollen $\widehat\alpha$, $\widehat\beta$ so bestimmt werden, daß der mittlere quadratische Fehler

  $$e(\alpha,\beta)=\frac{1}{n}\sum\limits_{i=1}^n\bigl(y_i-(\alpha+\beta x_i)\bigr)^2$$ (3)

  
  
  für $(\alpha,\beta)=(\widehat\alpha,\widehat\beta)$ minimal wird, wobei wir voraussetzen, daß $n\ge 2$ und daß nicht alle $x_1,\ldots,x_n$ gleich sind.

Theorem 2.1   $\;$ Der Vektor $(\widehat\alpha,\widehat\beta)$ mit

$$\widehat\beta=\frac{s^2_{xy}}{s^2_{xx}}\;,\qquad\widehat\alpha= \overline y_n-\widehat\beta\overline x_n\,,$$ (4)

minimiert den mittleren quadratischen Fehler $e(\alpha,\beta)$, wobei $\overline x_n$, $\overline y_n$ die Stichprobenmittel bezeichnen, d.h.

$$\overline x_n=\frac{1}{n}\sum\limits_{i=1}^n x_i\,,\qquad \overline y_n=\frac{1}{n}\sum\limits_{i=1}^n y_i\,,$$

und die Stichprobenvarianzen $s^2_{xx},s^2_{yy}$ bzw. die Stichprobenkovarianz $s^2_{xy}$ gegeben sind durch

$$s^2_{xx}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(x_i-\overline x_n... ... s^2_{yy}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(y_i-\overline y_n\bigr)^2\,.$$

Beweis

 

• Die Minimierung kann wie folgt durchgeführt werden: Durch Differenzieren nach $\alpha$ erkennt man, daß für jedes fest vorgegebene $\beta\in\mathbb{R}$ die Zahl
  $$\alpha=\frac{1}{n}\sum\limits_{i=1}^n(y_i-\beta x_i)=\overline y_n-\beta\overline x_n$$
  den Wert des Ausdruckes
  $$\sum\limits_{i=1}^n\bigl(y_i-(\alpha+\beta x_i)\bigr)^2= \sum\limits_{i=1}^n\bigl((y_i-\beta x_i)-\alpha\bigr)^2$$
  minimiert.
• Mit anderen Worten: Für jedes fest vorgegebene $\beta\in\mathbb{R}$ ist
  

  $$\sum\limits_{i=1}^n\bigl((y_i-\beta x_i)-(\overline y_n-\beta\overline x_n)\bigr)^2 = \sum\limits_{i=1}^n\bigl((y_i-\overline y_n)-\beta(x_i-\overline x_n)\bigr)^2$$

  $$= (n-1)\bigl(s^2_{yy}-2\beta s^2_{xy}+\beta^2 s^2_{xx}\bigr)$$

  
  
  der kleinste Wert des mittleren quadratischen Fehlers.
• Durch Differenzieren dieses Ausdruckes nach $\beta$ ergibt sich nun, daß das globale Minimum an der Stelle
  $$\beta=\frac{s^2_{xy}}{s^2_{xx}}$$
  angenommen wird.
  
  $\Box$

Beachte

 

• Der in (3) definierte mittlere quadratische Fehler $e(\alpha,\beta)$ ist der mittlere quadratische vertikale Abstand zwischen den Punkten $(x_i,y_i)$ und den Werten $(x_i,\varphi(x_i))$ der Regressionsgeraden $\varphi(x)=\alpha+\beta x$ an den Stellen $x_1,\ldots,x_n$.
• Anstelle der vertikalen Abstände kann man beispielsweise auch die horizontalen Abstände betrachten. Durch Vertauschen der Rollen von $x$ und $y$ ergibt sich dann der MKQ-Ansatz
  $$\widehat{\beta^\prime}(x,y)=\frac{s^2_{xy}}{s^2_{yy}}\;,\qquad\widehat{\alpha^\prime}(x,y)= \overline x_n-\widehat\beta^\prime\overline y_n$$
  zur Schätzung der Parameter $\alpha^\prime,\beta^\prime\in\mathbb{R}$ der (inversen) Regressionsgeraden $\varphi^\prime(y)=x=\alpha^\prime+\beta^\prime y$.
• Wenn wir diese Geradengleichung nach $y$ auflösen, dann ergibt sich die Gleichung
  $$y=-\,\frac{\alpha^\prime}{\beta^\prime}+\,\frac{1}{\beta^\prime}\,x\,,$$
  wobei allerdings die Schätzer $-\widehat{\alpha^\prime}/\widehat{\beta^\prime}$ und $\widehat{\beta^\prime}^{-1}$ für Regressionskonstante bzw. Regressionskoeffizient im allgemeinen verschieden von den Schätzern $\widehat\alpha$ bzw. $\widehat\beta$ sind, die in (4) hergeleitetet worden sind.

Beispiel

$\;$ (vgl. Casella/Berger (2002) Statistical Inference, Duxbury, S. 540ff.)

• Im Weinanbau werden die jeweils im Herbst geernteten Erträge in Tonnen je 100 m$^2$ (t/ar) gemessen.
• Es ist bekannt, daß der Jahresertrag bereits im Juli ziemlich gut prognostiziert werden kann, und zwar durch die Bestimmung der mittleren Anzahl von Beeren, die je Traube gebildet worden sind.
• Mit Hilfe des folgenden Zahlenbeispiels soll illustriert werden, wie die einfache lineare Regression zur Vorhersage des Jahresertrages dienen kann.
• Dabei fassen wir den Jahresertrag als Zielvariable ($Y_i$) auf, und die mittlere Clusterzahl je Traube ($X_i$) als Ausgangsvariable.

Jahr	Ertrag ($y_i$)	Clusterzahl ($x_i$)
1971	5.6	116.37
1973	3.2	82.77
1974	4.5	110.68
1975	4.2	97.50
1976	5.2	115.88
1977	2.7	80.19
1978	4.8	125.24
1979	4.9	116.15
1980	4.7	117.36
1981	4.1	93.31
1982	4.4	107.46
1983	5.4	122.30

Die Daten des Jahres 1972 fehlen, weil in diesem Jahr das untersuchte Weinanbaugebiet von einem Wirbelsturm verwüstet worden war.

Übungsaufgabe

$\;$ (vgl. auch Übungsaufgabe 1.1) 

• Zeichnen Sie ein Streuungsdiagramm (Punktwolke) für die beobachteten Daten.
• Bestimmen Sie für dieses Zahlenbeispiel die Schätzer $\widehat\alpha$ und $\widehat\beta$ sowie $\widehat{\alpha^\prime}$ und $\widehat{\beta^\prime}$ und zeichnen Sie die geschätzte Regressionsgerade in das Streuungsdiagramm ein.
• Prognostizieren Sie mit Hilfe der geschätzten Regressionsgerade $\widehat y=\widehat\alpha+\widehat\beta x$ den Jahresertrag, der einer mittleren Clusterzahl von 100 Beeren je Traube entsprechen würde.