Methode der kleinsten Quadrate

• Wir nehmen nun an,
  • dass die Regressionsfunktion $\varphi:\mathbb{R}\to\mathbb{R}$ die in (34) gegebene Form besitzt, d.h., wir betrachten das lineare Regressionsmodell,
  • und passen die Gerade $\varphi(x)=\alpha+\beta x$, die auch Ausgleichsgerade genannt wird, mit der Methode der kleinsten Quadrate an die Datenpunkte $(x_1,y_1),\ldots,(x_n,y_n)$ an.
• Mit anderen Worten: Wir zeigen,
  • wie die unbekannten Modellparameter $\alpha$ und $\beta$ zu wählen sind, um den mittleren quadratischen Fehler

    $$e(\alpha,\beta)=\frac{1}{n}\sum\limits_{i=1}^n\bigl(y_i-(\alpha+\beta x_i)\bigr)^2$$ (35)

    
    
    zu minimieren, und setzen dabei voraus,
  • dass $n\ge 2$ und dass nicht alle Ausprägungen $x_1,\ldots,x_n$ von $X$ einander gleich sind.
• Und zwar minimiert dann der Vektor $(\widehat\alpha,\widehat\beta)$ mit

  $$\widehat\alpha= \overline y_n-\widehat\beta\overline x_n \qquad \widehat\beta=\frac{s^2_{xy}}{s^2_{xx}}$$ (36)

  
  
  den mittleren quadratischen Fehler $e(\alpha,\beta)$,
  • wobei $\overline x_n$, $\overline y_n$ so wie bisher die Stichprobenmittel von $(x_1,\ldots,x_n)$ bzw. $(y_1,\ldots,y_n)$ bezeichnen, d.h.
    $$\overline x_n=\frac{1}{n}\sum\limits_{i=1}^n x_i\,,\qquad \overline y_n=\frac{1}{n}\sum\limits_{i=1}^n y_i\,,$$

  • und die Stichprobenvarianzen $s^2_{xx},s^2_{yy}$ bzw. die Stichprobenkovarianz $s^2_{xy}$ gegeben sind durch
    $$s^2_{xx}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(x_i-\overline x_n... ... s^2_{yy}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(y_i-\overline y_n\bigr)^2\,.$$

• Beachte 
  • Die in (36) angegebene Lösung $(\widehat\alpha,\widehat\beta)$ des Minimierungsproblems lässt sich wie folgt herleiten.
  • Wenn man die Funktion $e(\alpha,\beta)$ nach $\alpha$ differenziert, so erkennt man, dass für jedes $\beta\in\mathbb{R}$ die Zahl
    $$\alpha=\frac{1}{n}\sum\limits_{i=1}^n(y_i-\beta x_i)=\overline y_n-\beta\overline x_n$$
    den Wert des folgenden Ausdruckes minimiert:
    $$\sum\limits_{i=1}^n\bigl(y_i-(\alpha+\beta x_i)\bigr)^2= \sum\limits_{i=1}^n\bigl((y_i-\beta x_i)-\alpha\bigr)^2\,.$$

  • Mit anderen Worten: Für jedes $\beta\in\mathbb{R}$ ist
    

    $$\sum\limits_{i=1}^n\bigl((y_i-\beta x_i)-(\overline y_n-\beta\overline x_n)\bigr)^2 = \sum\limits_{i=1}^n\bigl((y_i-\overline y_n)-\beta(x_i-\overline x_n)\bigr)^2$$

    $$= (n-1)\bigl(s^2_{yy}-2\beta s^2_{xy}+\beta^2 s^2_{xx}\bigr)$$

    
    
    der kleinste Wert des mittleren quadratischen Fehlers.
  • Durch Differenzieren dieses Ausdruckes nach $\beta$ ergibt sich nun, dass das globale Minimum an der folgenden Stelle angenommen wird;
    $$\beta=\frac{s^2_{xy}}{s^2_{xx}}\,.$$

• Beispiel 
  • Für das in Abschnitt 2.4.4 betrachtete Beispiel der beiden Merkmale ,,Geburtsgewicht'' und ,,Gewichtszunahme'' ergibt sich, dass $\widehat\alpha=5905$ und $\widehat\beta=-1.242$.
  • An das Streudiagramm dieses Datensatzes lässt sich somit die folgende Regressionsgerade anpassen:

    
    

    
• Beachte 
  • Der in (35) definierte mittlere quadratische Fehler $e(\alpha,\beta)$ ist der mittlere quadratische vertikale Abstand zwischen den ,,beobachteten'' Punkten $(x_i,y_i)$ und den entsprechenden Punkten $(x_i,\varphi(x_i))$ auf der Regressionsgeraden $\varphi(x)=\alpha+\beta x$ an den Stellen $x_1,\ldots,x_n$.
  • Anstelle der vertikalen Abstände kann man beispielsweise auch die horizontalen Abstände betrachten. Durch Vertauschen der Rollen von $x$ und $y$ ergibt sich dann, dass
    $$\widehat\alpha^\prime= \overline x_n-\widehat\beta^\prime\overline y_n$$   und$$\qquad\widehat\beta^\prime=\frac{s^2_{xy}}{s^2_{yy}}$$
    die optimalen Werte der Parameter $\alpha^\prime,\beta^\prime\in\mathbb{R}$ der (inversen) Regressionsgeraden $\varphi^\prime(y)=x=\alpha^\prime+\beta^\prime y$ sind.
  • Wenn wir diese Geradengleichung nach $y$ auflösen, dann ergibt sich die Gleichung
    $$y=-\,\frac{\alpha^\prime}{\beta^\prime}+\,\frac{1}{\beta^\prime}\,x\,,$$
    wobei allerdings die Werte $-\widehat\alpha^\prime/\widehat\beta^\prime$ und $\widehat\beta^{\prime -1}$ für Regressionskonstante bzw. Regressionskoeffizient im allgemeinen verschieden von den optimalen Werten $\widehat\alpha$ bzw. $\widehat\beta$ sind, die in (36) hergeleitet worden sind.
• Übungsaufgabe 
  • Bestimmen Sie für das in Abschnitt 2.4.1 betrachtete Beispiel der Merkmale ,,Clusterzahl je Traube'' unsd ,,Jahresertrag'' die Werte $\widehat\alpha$ und $\widehat\beta$ sowie $\widehat\alpha^\prime$ und $\widehat\beta^\prime$ und zeichnen Sie die beiden Regressionsgeraden in das Streudiagramm dieses Datensatzes ein.
  • Prognostizieren Sie mit Hilfe der Regressionsgerade $\widehat y=\widehat\alpha+\widehat\beta x$ den Jahresertrag, der einer mittleren Clusterzahl von 100 Beeren je Traube entsprechen würde.