Schätzung des Vektors ${\boldsymbol {\beta }}$ der Regressionskoeffizienten

• Wir bestimmen nun einen Vektor $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)$, so daß der mittlere quadratische Fehler

  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2$$ (15)

  
  
  für ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$ minimal wird.
• Dabei benutzen wir die folgenden Grundbegriffe der Vektor-Algebra:
  • Für jedes ${\mathbf{x}}=(x_1,\ldots,x_n)^\top\in\mathbb{R}^n$ heißt
    $$\Vert{\mathbf{x}}\Vert=\sqrt{x_1^2+\ldots x_n^2}$$
    die Norm des Vektors ${\mathbf{x}}$.
  • Für beliebige ${\mathbf{x}}=(x_1,\ldots,x_n)^\top\in\mathbb{R}^n$ und ${\mathbf{y}}=(y_1,\ldots,y_n)^\top\in\mathbb{R}^n$ heißt
    $$({\mathbf{x}},{\mathbf{y}})=\sum\limits_{i=1}^n x_i y_i$$
    das Skalarprodukt der Vektoren ${\mathbf{x}}$ und ${\mathbf{y}}$.
  • Mit $\mathcal{L}_{\mathbf{X}}$ bezeichnen wir den ($m$-dimensionalen) linearen Vektorraum, der durch die ($n$-dimensionalen) linear unabhängigen Basisvektoren ${\mathbf{b}}_1=(1,\ldots,1)^\top$, ${\mathbf{b}}_2=(x_{12},\ldots,x_{n2})^\top,\ldots,{\mathbf{b}}_m=(x_{1m},\ldots,x_{nm})^\top$ aufgespannt wird, d.h.,
    $$\mathcal{L}_{\mathbf{X}}=\bigl\{ c_1{\mathbf{b}}_1+\ldots+c_m{\ma... ...{\mathbf{c}}:\, {\mathbf{c}}=(c_1,\ldots,c_m)^\top\in\mathbb{R}^m \bigr\}\,,$$
    wobei ${\mathbf{X}}=({\mathbf{b}}_1,\ldots,{\mathbf{b}}_m)$ die in (5) betrachtete Designmatrix ist.
  • Mit $\mathcal{L}_{\mathbf{X}}^\perp$ bezeichnen wir das $(n-m)$-dimensionale orthogonale Komplement von $\mathcal{L}_{\mathbf{X}}$ in $\mathbb{R}^n$, d.h.,
    $$\mathcal{L}_{\mathbf{X}}^\perp=\bigl\{{\mathbf{x}}\in\mathbb{R}^n:\, ({\mathbf{x}},{\mathbf{y}})=0\;\;$$$$\mbox{für jedes ${\mathbf{y}}\in\mathcal{L}_{\mathbf{X}}$}$$$$\bigr\}\,.$$

  • Beachte: Für jeden Vektor ${\mathbf{x}}\in\mathbb{R}^n$ gibt es eine Darstellung ${\mathbf{x}}={\mathbf{x}}^\prime+{\mathbf{x}}^{\prime\prime}$ mit ${\mathbf{x}}^\prime\in\mathcal{L}_{\mathbf{X}}$ und ${\mathbf{x}}^{\prime\prime}\in\mathcal{L}_{\mathbf{X}}^\perp$, wobei die Zerlegungskomponenten ${\mathbf{x}}^\prime$ und ${\mathbf{x}}^{\prime\prime}$ eindeutig bestimmt sind.
  • Die Abbildung $\mathcal{P}_{\mathbf{X}}:\mathbb{R}^n\to\mathcal{L}_{\mathbf{X}}$ mit $\mathcal{P}_{\mathbf{X}}({\mathbf{x}})={\mathbf{x}}^\prime$ heißt die Orthogonalprojektion von $\mathbb{R}^n$ auf den $m$-dimrnsionalen linearen Unterraum $\mathcal{L}_{\mathbf{X}}$.
• In diesem Zusammenhang ist der folgende Hilfssatz nützlich, den wir hier ohne Beweis angeben.

Lemma 3.5   Die $n\times n$ Matrix ${\mathbf{A}}$ ist genau dann die Orthogonalprojektion von $\mathbb{R}^n$ auf den $m$-dimensionalen linearen Unterraum $\mathcal{L}_{\mathbf{X}}$, d.h. ${\mathbf{A}}{\mathbf{x}}={\mathbf{x}}^\prime\in\mathcal{L}_{\mathbf{X}}$ für jedes ${\mathbf{x}}\in\mathbb{R}^n$, wenn ${\mathbf{A}}(\mathbb{R}^n)=\mathcal{L}_{\mathbf{X}}$ und wenn ${\mathbf{A}}$ idempotent und symmetrisch ist, d.h.,

$${\mathbf{A}}={\mathbf{A}}^2 \qquad{\mathbf{A}}={\mathbf{A}}^\top\,.$$ (16)

Mit Hilfe von Lemma 3.5 können wir nun einen MKQ-Schätzer für den Vektor ${\boldsymbol {\beta }}$ der Regressionskoeffizienten bestimmen.

Theorem 3.2   $\;$ Der mittlere quadratische Fehler $e({\boldsymbol{\beta}})$ in $(\ref{mul.qua.pri})$ ist genau dann minimal, wenn ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$, wobei

$$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}\,.$$ (17)

Beweis

 

• Für jeden Vektor ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ gilt
  

  $$n\, e({\boldsymbol{\beta}}) = \Vert{\mathbf{Y}}-{\mathbf{X}}{\boldsymbol{\beta}}\Vert^2$$

  $$= \Vert{\mathbf{Y}}\Vert^2+\Vert{\mathbf{X}}{\boldsymbol{\beta}}\Vert^2-2 ({\mathbf{Y}},{\mathbf{X}}{\boldsymbol{\beta}})$$

  $$= \Vert\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}\Vert^2+\Vert{\mathbf{Y}... ...}}{\boldsymbol{\beta}}\Vert^2-2 ({\mathbf{Y}},{\mathbf{X}}{\boldsymbol{\beta}})$$

  $$= \Vert\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}\Vert^2+\Vert{\mathbf{Y}... ...ert^2-2 (\mathcal{P}_{\mathbf{X}}{\mathbf{Y}},{\mathbf{X}}{\boldsymbol{\beta}})$$

  $$= \Vert\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}-{\mathbf{X}}{\boldsymbol{\beta}}\Vert^2+\Vert{\mathbf{Y}}-\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}\Vert^2\,.$$

  
  

• Hieraus folgt, daß $e({\boldsymbol{\beta}})$ genau dann minimal ist, wenn

  $$\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}\,.$$ (18)

  
  

• Weil vorausgesetzt wird, daß die Designmatrix ${\mathbf{X}}$ den ,,vollen'' Rang $m$ hat, ergibt sich aus Lemma 3.1, daß auch ${\,{\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})=m$ gilt.
• Wegen Theorem 3.1 ist somit ${\mathbf{X}}^\top{\mathbf{X}}$ regulär, d.h., die inverse Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ ist wohldefiniert.
• Die Gleichung (18) läßt sich also wie folgt nach ${\boldsymbol {\beta }}$ umstellen: Aus (18) ergibt sich die Gleichung ${\mathbf{X}}^\top\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}={\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$ mit der Lösung

  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}\,.$$ (19)

  
  

• Außerdem ergibt sich aus Lemma 3.5, daß
  $${\mathbf{A}}={\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top$$
  eine Darstellung des Projektionsoperators $\mathcal{P}_{\mathbf{X}}$ ist, denn es gilt ${\mathbf{A}}(\mathbb{R}^n)=\mathcal{L}_{\mathbf{X}}$, weil offenbar
  $${\mathbf{A}}(\mathbb{R}^n)\subset\mathcal{L}_{\mathbf{X}}$$   und$$\qquad {\mathbf{A}}({\mathbf{X}} {\mathbf{c}}) ={\mathbf{X}}({\ma... ...{c}}={\mathbf{X}} {\mathbf{c}}\,,\qquad \forall\, {\mathbf{c}}\in\mathbb{R}^m$$
  sowie
  

  $${\mathbf{A}}^2 = \bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}... ...) \bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr)$$

  $$= {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top ={\mathbf{A}}$$

  
  
  bzw.
  $${\mathbf{A}}^\top=\bigl({\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}... ...thbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top={\mathbf{A}}\,.$$

• Hieraus und aus (19) ergibt sich nun, daß
  

  $$\widehat{\boldsymbol{\beta}} = ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\mathcal{P}_{\mathbf{X}}{\mathbf{Y}}$$

  $$= \bigl(({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr)... ...hbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr) {\mathbf{Y}}$$

  $$= ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top {\mathbf{Y}}\,.$$

  
  
  
   
    $\Box$