Lineares Modell mit allgemeiner Designmatrix

• Wir betrachten nun die folgende Verallgemeinerung des in Kapitel 3 behandelten multiplen linearen Regressionsmodells.
• Ähnlich wie in Formel (3.4) nehmen wir dabei an, daß die Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ gegeben ist durch das lineare Modell

  $${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}\,,$$ (1)

  
  
  wobei die Designmatrix ${\mathbf{X}}$ nun eine beliebige $(n\times m)$-dimensionale Matrix ist mit $n\ge m$, d.h.

  $${\mathbf{X}}=\left(\begin{array}{cccc} x_{11} & x_{12} & \ldots &... ... & \vdots & & \vdots\\ x_{n1} & x_{n2} & \ldots & x_{nm} \end{array}\right)\,.$$ (2)

  
  

• So wie bisher sei ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ ein (unbekannter) Parametervektor, und ${\boldsymbol{\varepsilon }}=(\varepsilon _1,\ldots,\varepsilon _n)^\top$ sei ein Vektor von zufälligen Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$, die den folgenden Bedingungen genügen:

  $${\mathbb{E}\,}\varepsilon _i=0\,,\qquad{\rm Var\,}\varepsilon _i=... ...{\rm Cov\,}(\varepsilon _i,\varepsilon _j)=0\,, \qquad\forall\,i,j=1,\ldots,n\; \mbox{mit $i\not=j$}$$ (3)

  
  
  für eine gewisse (unbekannte) Zahl $\sigma^2>0$.

Beachte

 

• In den Rechnungen von Kapitel 3 wurde nirgenwo explizit genutzt, daß die Eintragungen $x_{11},\ldots,x_{n1}$ der ersten Spalte der Designmatrix ${\mathbf{X}}$ gleich 1 sind.
• Sämtliche Ergebnisse, die in Kapitel 3 hergeleitet wurden, gelten somit auch in dem in (2) betrachteten allgemeineren Fall, vorausgesetzt, daß die Designmatrix ${\mathbf{X}}$ den vollen Spaltenrang $m$ besitzt.
• Es gibt allerdings Beispiele von praktischem Interesse, bei denen diese Modellannahme verletzt ist, vgl. Abschnitt 4.1.
• In Abschnitt 4.2 werden deshalb Methoden zur Gewinnung von Parameterschätzern für den Fall diskutiert, daß die Designmatrix keinen vollen Spaltenrang besitzt.