Güte der Modellanpassung; Quadratsummen-Zerlegung

• In diesem Abschnitt diskutieren wir eine Maßzahl, die
  • die Anpassungsgüte des Regressionsmodells $\widehat y=\widehat\alpha+\widehat\beta x$ an die beobachteten Werte $y_1,\ldots,y_n$ der Zielvariablen $Y$ beschreibt,
  • falls die Regressionskonstante $\widehat\alpha$ und der Regressionskoeffizient $\widehat\beta$ durch (36) gegeben sind.
• In diesem Zusammenhang betrachten wir
  • für jedes $i=1,\ldots,n$ die Abweichung $\widehat\varepsilon _i=y_i-\widehat y_i$ des beobachteten Wertes $y_i$ von dem entsprechenden Wert $\widehat y_i=\widehat\alpha+\widehat\beta x_i$ der Regressionsfunktion $\widehat y=\widehat\alpha+\widehat\beta x$,
  • wobei die Abweichungen $\widehat\varepsilon _1,\ldots,\widehat\varepsilon _n$ auch Residuen genannt werden und
  • der in (35) eingeführte mittlere quadratische Fehler $e(\widehat\alpha,\widehat\beta)$ das arithmetische Mittel
    $$e(\widehat\alpha,\widehat\beta)=\frac{1}{n}\;\sum\limits_{i=1}^n \widehat\varepsilon _i^2$$
    der Abweichungsquadrate $\widehat\varepsilon _1^2,\ldots,\widehat\varepsilon _n^2$ ist.
• Es ist klar, dass die Anpassungsgüte des Regressionsmodells $\widehat y=\widehat\alpha+\widehat\beta x$ an die beobachteten Werte $y_1,\ldots,y_n$ der Zielvariablen $Y$ um so schlechter ist,
  • je größer die sogenannte Residualstreuung $e(\widehat\alpha,\widehat\beta)$ ist,
  • wobei diese (absolute) Abweichungsmaßzahl noch mit der Gesamtstreuung $1/n \sum_{i=1}^n (y_i-\overline y_n)^2$ der beobachteten Werte $y_1,\ldots,y_n$ normiert wird.
• Dies führt dann zu der Bestimmtheitsmaßzahl

  $$R^2=1-\frac{\displaystyle\sum_{i=1}^n (y_i-\widehat y_i)^2}{\displaystyle\sum_{i=1}^n (y_i-\overline y_n)^2}\;,$$ (37)

  
  
  die auch Determinationskoeffizient genannt wird.
• Beachte 
  1. Das Bestimmtheitsmaß $R^2$ nimmt nur Werte zwischen 0 und $1$ an, d.h., es gilt stets

     $$0\le R^2\le 1\,.$$ (38)

     
     
     • Dies ergibt sich aus der folgenden Quadratsummen-Zerlegung

       $$\sum_{i=1}^n (y_i-\overline y_n)^2=\sum_{i=1}^n (\widehat y_i-\overline y_n)^2+\sum_{i=1}^n (y_i-\widehat y_i)^2\,.$$ (39)

       
       

     • Denn offenbar gilt $R^2\le 1$, und aus (39) folgt, dass
       $$R^2=1-\frac{\displaystyle\sum_{i=1}^... ...y_i-\overline y_n)^2}{\displaystyle\sum_{i=1}^n (y_i-\overline y_n)^2}\ge 0\,.$$

     • Die hierbei verwendete Quadratsummen-Zerlegung (39) lässt sich wie folgt (durch Einfügen der ,,nahrhaften'' Null $\widehat y_i-\widehat y_i$) herleiten, denn es gilt
       

       $$\sum_{i=1}^n (y_i-\overline y_n)^2 = \sum_{i=1}^n \Bigl((y_i-\widehat y_i)+(\widehat y_i-\overline y_n)\Bigr)^2$$

       $$= \sum_{i=1}^n (y_i-\widehat y_i)^2 +2... ...stackrel{(\ref{def.hat.alp})}{=}0} +\sum_{i=1}^n (\widehat y_i-\overline y_n)^2$$

       $$= \sum_{i=1}^n (y_i-\widehat y_i)^2 +\sum_{i=1}^n (\widehat y_i-\overline y_n)^2\,.$$

       
       

  2. Außerdem gilt

     $$R^2=\rho^2_{xy}\,,$$ (40)

     
     
     • d.h., das Bestimmtheitsmaß $R^2$ stimmt mit dem Quadrat des empirischen Korrelationskoeffizienten $\rho _{xy}$ überein, der in Abschnitt 2.4.2 eingeführt wurde, wobei sich die Gültigkeit von (40) aus den folgenden Überlegungen ergibt.
     • Aus (36) folgt zunächst, dass das arithmetische Mittel $\overline{\widehat y}$ von $\widehat y_1,\ldots,\widehat y_n$ mit dem Stichprobenmittel $\overline y_n$ übereinstimmt, denn es gilt
       $$\overline{\widehat y}=\frac{1}{n}\su... ... y_n-\widehat\beta \overline x_n)+\widehat\beta \overline x_n=\overline y_n\,.$$

     • Hieraus ergibt sich, dass
       $$\sum_{i=1}^n \bigl(\widehat y_i-\overline y_n\bigr)^2=\sum_{i=1}^... ...\beta \overline x_n)\Bigr)^2= \widehat\beta^2\sum_{i=1}^n(x_i-\overline x_n)^2$$
       und somit
       $$R^2=\frac{\displaystyle\sum_{i=1}^n ... ...yy}^2}=\Biggl(\frac{s^2_{xy}}{\sqrt{s^2_{xx}s^2_{yy}}}\Biggr)^2=\rho_{xy}^2\,.$$