Methode der kleinsten Quadrate

• Wir schätzen nun die unbekannten Modellparameter $\beta_1,\ldots,\beta_m$ und $\sigma ^2$ aus den beobachteten Daten
  $$(x_{12},\ldots,x_{1m}),\ldots,(x_{n2},\ldots,x_{nm})\in\mathbb{R}^{m-1}$$   und$$\qquad y_1\ldots,y_n\in\mathbb{R}\,.$$

• Dabei werden zunächst keine zusätzlichen Voraussetzungen über die Verteilung der zufälligen Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ benötigt.
• Ähnlich wie in Abschnitt 2.1.1 betrachten wir die folgende Methode der kleinsten Quadrate (MKQ) zur Bestimmung von Schätzern $\widehat\beta_1,\ldots,\widehat\beta_m$ für die unbekannten Regressionskoeffizienten $\beta_1,\ldots,\beta_m$.
• Und zwar soll ein Vektor $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)$ bestimmt werden, so daß der mittlere quadratische Fehler

  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2$$ (6)

  
  
  für ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$ minimal wird, wobei wir voraussetzen, daß $n\ge m$ und daß der Rang der Matrix ${\mathbf{X}}$ gleich $m$ ist.

Beachte

 

• Der Rang ${\,{\rm rg}}({\mathbf{A}})$ einer Matrix ${\mathbf{A}}$ ist die maximale Anzahl der linear unabhängigen Zeilen (bzw. Spalten) von ${\mathbf{A}}$.
• Zur Erinnerung: Die Vektoren ${\mathbf{a}}_1,\ldots,{\mathbf{a}}_\ell\in\mathbb{R}^m$ heißen linear abhängig, falls es reelle Zahlen $c_1,\ldots,c_\ell\in\mathbb{R}$ gibt, die nicht alle gleich Null sind, so daß $c_1{\mathbf{a}}_1+\ldots+c_\ell{\mathbf{a}}_\ell={\mathbf{o}}$. Anderenfalls heißen die Vektoren ${\mathbf{a}}_1,\ldots,{\mathbf{a}}_\ell\in\mathbb{R}^m$ linear unabhängig.