Lineare Modelle; Designmatrix mit vollem Rang

Zur Erinnerung (vgl. Kapitel 5 der Vorlesung ,,Statistik I''):

• Bei der einfachen linearen Regression wird von zwei Datensätzen $(x_1,\ldots,x_n)\in\mathbb{R}^n$ und $(y_1,\ldots,y_n)\in\mathbb{R}^n$ ausgegangen, die stochastisch modelliert werden sollen.
• Dabei fassen wir die Vektoren $(x_1,y_1),\ldots,(x_n,y_n)$ als Realisierungen von $n$ Zufallsvektoren $(X_1,Y_1),\ldots,$ $(X_n,Y_n)$ auf, die typischerweise nicht identisch verteilt sind.
• Wir deuten die Zufallsvariablen $Y_1,\ldots,Y_n$ als Zielvariablen und nehmen an, dass sie auf die folgende Weise von den Ausgangsvariablen $X_1,\ldots,X_n$ abhängen:

  $$Y_i=\varphi(X_i)+\varepsilon _i ,\qquad\forall i=1,\ldots,n ,$$ (1)

  
  
  wobei
  • $\varphi:\mathbb{R}\to\mathbb{R}$ eine beliebige (Borel-messbare) Funktion, die so genannte Regressionsfunktion ist und
  • $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ Zufallsvariablen, so genannte Störgrößen sind, durch die beispielsweise zufällige Messfehler modelliert werden können.
• Ein wichtiger Spezialfall liegt vor, wenn die Regressionsfunktion $\varphi:\mathbb{R}\to\mathbb{R}$ eine lineare Funktion ist, die so genannte Regressionsgerade, d.h., wenn es reelle Zahlen $\beta_1,\beta_2\in\mathbb{R}$ gibt mit

  $$\varphi(x)=\beta_1+\beta_2 x ,\qquad\forall x\in\mathbb{R} ,$$ (2)

  
  
  wobei $\beta_1$ die Regressionskonstante und $\beta_2$ der Regressionskoeffizient genannt wird.
• Die Größen $\beta_1,\beta_2\in\mathbb{R}$ sind unbekannte Modellparameter, die aus den beobachteten Daten $(x_1,\ldots,x_n)\in\mathbb{R}^n$ und $(y_1,\ldots,y_n)\in\mathbb{R}^n$ geschätzt werden sollen.

Wir betrachten nun die folgende multivariate Verallgemeinerung des einfachen linearen Regressionsmodells, wobei $m,n\ge 2$ beliebige natürliche Zahlen seien, so dass $m\le n$.

• Wir nehmen an, dass die Zielvariablen $Y_1,\ldots,Y_n$ von vektoriellen $m$-dimensionalen Ausgangsvariablen $(X_{11},\ldots,X_{1m})^\top,\ldots,(X_{n1},\ldots,X_{nm})^\top$ abhängen, d.h., es gelte

  $$Y_i=\varphi(X_{i1},\ldots,X_{im})+\varepsilon _i ,\qquad\forall i=1,\ldots,n ,$$ (3)

  
  
  wobei
  • die Regressionsfunktion $\varphi:\mathbb{R}^m\to\mathbb{R}$ gegeben ist durch

    $$\varphi(x_1,\ldots,x_m)=\beta_1x_1+\ldots +\beta_mx_m ,\qquad\forall (x_1,\ldots,x_m)^\top\in\mathbb{R}^m$$ (4)

    
    
    mit (unbekannten) Regressionskoeffizienten $\beta_1,\ldots,\beta_m\in\mathbb{R}$ und
  • die zufälligen Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ den folgenden Bedingungen genügen:

    $${\mathbb{E} }\varepsilon _i=0 ,\qquad{\rm Var }\varepsilon _i=... ...{\rm Cov }(\varepsilon _i,\varepsilon _j)=0 , \qquad\forall i,j=1,\ldots,n\; \mbox{mit $i\not=j$}$$ (5)

    
    
    für eine gewisse (unbekannte) Zahl $\sigma^2>0$.
• Dabei betrachten wir hier nur den Fall, dass die Ausgangsvariablen $(X_{11},\ldots,X_{1m})^\top,\ldots,(X_{n1},\ldots,X_{nm})^\top$ deterministisch sind, d.h., es gelte
  $$(X_{11},\ldots,X_{1m})^\top=(x_{11},\ldots,x_{1m})^\top,\ldots,(X_{n1},\ldots,X_{nm})^\top=(x_{n1},\ldots,x_{nm})^\top$$
  für gewisse Vektoren $(x_{11},\ldots,x_{1m})^\top,\ldots,(x_{n1},\ldots,x_{nm})^\top\in\mathbb{R}^m$.

Beachte

 

• In Matrixschreibweise lässt sich dann das in (3) und (4) gegebene Modell wie folgt formulieren:

  $${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }} ,$$ (6)

  
  
  wobei

  $${\mathbf{Y}}=\left(\begin{array}{c} Y_1 \vdots Y_n \end{arr... ...egin{array}{c} \varepsilon _1 \vdots \varepsilon _n \end{array}\right) .$$ (7)

  
  

• Dabei wird ${\mathbf{X}}$ die Designmatrix des Regressionsmodells genannt.