Vektor- bzw. Matrixschreibweise

• Wir kehren nun zu dem (allgemeinen) multiplen linearen Regressionmodell mit einer beliebigen Anzahl $m-1$ von Einflussfaktoren zurück, das bereits in Abschnitt 3.3.1 betrachtet wurde.
  • So wie bisher schätzen wir die unbekannten Modellparameter $\beta_1,\ldots,\beta_m$ mit der Methode der kleinsten Quadrate aus den beobachteten Daten
    $$(x_{12},\ldots,x_{1m}),\ldots,(x_{n2},\ldots,x_{nm})\in\mathbb{R}^{m-1}$$   und$$\qquad y_1\ldots,y_n\in\mathbb{R}\,.$$

  • Mit anderen Worten: Es soll ein Zufallsvektor $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)$ bestimmt werden, so dass der mittlere quadratische Fehler

    $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2$$ (63)

    
    
    für ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$ minimal wird, wobei wir voraussetzen, dass $n\ge m$ und dass der Rang der Matrix ${\mathbf{X}}$ gleich $m$ ist.
• Ähnlich wie bei der Herleitung von (57) (d.h. bei der Lösung des entsprechenden Minimierungsproblems im Fall zweier Einflussfaktoren) kann man zeigen, dass für eine beliebige Anzahl von Einflussfaktoren

  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$$ (64)

  
  
  • das (eindeutig bestimmte) Minimum des in (63) betrachteten Abweichungsmßes ist,
  • wobei ${\mathbf{X}}^\top$ die transponierte $m\times n$ Matrix bezeichnet, die sich durch Vertauschung der Zeilen und Spalten von ${\mathbf{X}}$ ergibt,
  • und $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ die inverse Matrix von ${\mathbf{X}}^\top{\mathbf{X}}$ ist.

• Beachte 
  • Der Rang ${\rm rg\,}({\mathbf{A}})$ einer Matrix ${\mathbf{A}}$ ist die maximale Anzahl der linear unabhängigen Zeilenvektoren (bzw. Spaltenvektoren) von ${\mathbf{A}}$.
  • Zur Erinnerung: Die Vektoren ${\mathbf{a}}_1,\ldots,{\mathbf{a}}_\ell\in\mathbb{R}^m$ heißen linear abhängig, falls es reelle Zahlen $c_1,\ldots,c_\ell\in\mathbb{R}$ gibt, die nicht alle gleich Null sind, so dass $c_1{\mathbf{a}}_1+\ldots+c_\ell{\mathbf{a}}_\ell={\mathbf{o}}$. Anderenfalls heißen die Vektoren ${\mathbf{a}}_1,\ldots,{\mathbf{a}}_\ell\in\mathbb{R}^m$ linear unabhängig.
  • Weil wir voraussetzen, dass die Designmatrix ${\mathbf{X}}$ vollen (Spalten-) Rang ${\rm rg\,}({\mathbf{X}})=m$ hat, ist die symmetrische $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ regulär, d.h., es gilt $\det ({\mathbf{X}}^\top{\mathbf{X}})\not=0$.
  • Somit ist ${\mathbf{X}}^\top{\mathbf{X}}$ auch invertierbar, d.h., es gibt eine (eindeutig bestimmte) $m\times m$ Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$, so dass
    $$({\mathbf{X}}^\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\mathbf{X}... ...thbf{X}}^\top{\mathbf{X}})({\mathbf{X}}^\top{\mathbf{X}})^{-1}={\mathbf{I}}\,,$$
    wobei ${\mathbf{I}}=(\delta_{ij})$ die $m\times m$-dimensionale Einheitsmatrix bezeichnet mit
    $$\delta_{ij}=\left\{\begin{array}{ll} 1\,, & \mbox{falls $i=j$,}\\ 0\,, & \mbox{falls $i\not=j$,} \end{array}\right.$$

• Beachte 
  • Der in (64) gegebene Kleinste-Quadrate-Schätzer $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)$ für den Parametervektor ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)$ ist ein sogenannter linearer Schätzer, d.h., $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ ist eine lineare Funktion der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)$.
  • Der Schätzer $\widehat{\boldsymbol{\beta}}$ hat die folgenden Güteeigenschaften:
    1. Es gilt ${\mathbb{E}\,}\widehat{\boldsymbol{\beta}}={\boldsymbol{\beta}}$ für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$, d.h., $\widehat{\boldsymbol{\beta}}$ ist erwartungstreu.
    2. Für jeden anderen linaren erwartungstreuen Schätzer $\widetilde{\boldsymbol{\beta}}=(\widetilde\beta_1,\ldots,\widetilde\beta_m)$ für ${\boldsymbol{\beta}}$ gilt

       $${\rm Var\,}\widehat\beta_i\le {\rm Var\,}\widetilde\beta_i\,,\qquad\forall\, i=1,\ldots,m\,,$$ (65)

       
       
       wobei die Gleichheit in $(\ref{var.til.hat})$ genau dann für jedes $i=1,\ldots,m$ gilt, wenn $\widetilde{\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$, d.h., $\widehat{\boldsymbol{\beta}}$ ist bester linearer erwartungstreuer Schätzer für ${\boldsymbol{\beta}}$.
  • Die (zufällige) Abbildung $\widehat Y:\mathbb{R}^{m-1}\to\mathbb{R}$ mit

    $$\widehat Y({\mathbf{x}})=\widehat\beta_1+\widehat\beta_2 x_2+\ldots+\widehat\beta_m x_m\,,$$ (66)

    
    
    die jedem Vektor ${\mathbf{x}}=(x_2,\ldots,x_m)$ von Werten der Einflussfaktoren die Zufallsvariable $\widehat Y({\mathbf{x}})$ zuordnet, heißt empirische Regressionshyperebene.
  • Außerdem kann man in Verallgemeinerung von (62) zeigen, dass die ,,Reststreueung'' $S^2$ um die empirische Regressionshyperebene, die gegeben ist durch

    $$S^2=\frac{1}{n-m}\; ({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}})\,,$$ (67)

    
    
    ein erwartungstreuer Schätzer für $\sigma^2$ ist, d.h., es gilt ${\mathbb{E}\,}S^2=\sigma^2$.