Normalengleichung

Man kann leicht zeigen, dass die in (8) betrachtete Funktion $e({\boldsymbol{\beta}})$ ein eindeutig bestimmtes Minimum hat, wenn die Designmatrix ${\mathbf{X}}$ vollen (Spalten-) Rang hat, d.h., wenn ${ {\rm rg}}({\mathbf{X}})=m$ gilt.

Theorem 2.1   $\;$ Sei ${ {\rm rg}}({\mathbf{X}})=m$.

• Der mittlere quadratische Fehler $e({\boldsymbol{\beta}})$ in $(\ref{def.mul.qua})$ ist genau dann minimal, wenn ${\boldsymbol {\beta }}$ Lösung der folgenden Normalengleichung ist:

  $${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}} .$$ (9)

  
  

• Dabei hat $(\ref{norm.gle.bet})$ die eindeutig bestimmte Lösung

  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}} .$$ (10)

  
  

Beweis

 

• Die in (8) gegebene Funktion $e({\boldsymbol{\beta}})$ ist differenzierbar, wobei
  $$e^\prime({\boldsymbol{\beta}})=\Bigl(\frac{\partial e({\boldsymbo... ...f{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}-{\mathbf{X}}^\top{\mathbf{Y}}\Bigr)$$
  und
  $$e^{\prime\prime}({\boldsymbol{\beta}})=\Bigl(\frac{\partial^2 e({... ...ial\beta_i\partial\beta_j}\Bigr)=\frac{2}{n}\;{\mathbf{X}}^\top{\mathbf{X}} .$$

• Aus $e^\prime({\boldsymbol{\beta}})={\bf o}$ ergibt sich die Normalengleichung (9).
• Außerdem folgt aus Lemma 1.2, dass ${ {\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})=m$.
  • Die $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ (und somit auch $e^{\prime\prime}({\boldsymbol{\beta}})$) ist deshalb invertierbar und positiv definit.
  • Folglich ist $e({\boldsymbol{\beta}})$ ist genau dann minimal, wenn ${\boldsymbol {\beta }}$ Lösung von (9) ist.
• Weil die $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ invertierbar ist, besitzt (9) eine eindeutig bestimmte Lösung $\widehat{\boldsymbol{\beta}}$, die durch (10) gegeben ist.
  
  $\Box$

Beachte

$\;$ Der Schätzer $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ für ${\boldsymbol {\beta }}$ ist eine Lineartransformation der Zufallsstichprobe ${\mathbf{Y}}$, d.h., $\widehat{\boldsymbol{\beta}}$ ist ein linearer Schätzer.

Beispiele

$\;$ (einfaches und multiples lineares Regressionsmodell) 

• Für $m=2$ und

  $${\mathbf{X}}=\left(\begin{array}{cc} 1 & x_{1} \vdots & \vdots 1 & x_{n} \end{array}\right)$$ (11)

  
  
  ergibt sich das bereits in Abschnitt I-5.1 betrachtete einfache lineare Regressionsmodell als Spezialfall.
• Die Designmatrix ${\mathbf{X}}$ in (11) hat genau dann vollen Rang ${ {\rm rg}}({\mathbf{X}})=2$, wenn nicht alle $x_1,\ldots,x_n$ gleich sind.
• Der in (10) betrachtete Schätzer $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\widehat\beta_2)$ für die Regressionskonstante $\beta_1$ bzw. den Regressionskoeffizient $\beta_2$ hat dann die Form (vgl. auch Theorem I-5.1)

  $$\widehat\beta_2=\frac{s^2_{xy}}{s^2_{xx}}\;,\qquad\widehat\beta_1= \overline y_n-\widehat\beta_2\overline x_n ,$$ (12)

  
  
  wobei $\overline x_n$, $\overline y_n$ die Stichprobenmittel bezeichnen, d.h.
  $$\overline x_n=\frac{1}{n}\sum\limits_{i=1}^n x_i ,\qquad \overline y_n=\frac{1}{n}\sum\limits_{i=1}^n y_i ,$$
  und die Stichprobenvarianzen $s^2_{xx},s^2_{yy}$ bzw. die Stichprobenkovarianz $s^2_{xy}$ gegeben sind durch
  $$s^2_{xx}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(x_i-\overline x_n\... ...ad s^2_{yy}=\frac{1}{n-1}\sum\limits_{i=1}^n\bigl(y_i-\overline y_n\bigr)^2 .$$

• Für $m>2$ und

  $${\mathbf{X}}=\left(\begin{array}{cccc} 1 & x_{12} & \ldots & x_{1... ... \vdots & \vdots & & \vdots 1 & x_{n2} & \ldots & x_{nm} \end{array}\right)$$ (13)

  
  
  ergibt sich das so genannte multiple lineare Regressionsmodell.