Methode der kleinsten Quadrate

Das Ziel dieses Abschnittes besteht darin, die unbekannten Modellparameter $\beta_1,\ldots,\beta_m$ und $\sigma ^2$ aus den beobachteten Daten $(x_{11},\ldots,x_{1m})^\top,\ldots,(x_{n1},\ldots,x_{nm})^\top\in\mathbb{R}^m$ und $(y_1\ldots,y_n)^\top\in\mathbb{R}^n$ zu schätzen.

• Ähnlich wie in Abschnitt I-5.1 betrachten wir hierfür die Methode der kleinsten Quadrate zur Bestimmung von Schätzern $\widehat\beta_1,\ldots,\widehat\beta_m$ für die unbekannten Regressionskoeffizienten $\beta_1,\ldots,\beta_m$.
• Und zwar soll ein Zufallsvektor $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)^\top$ bestimmt werden, so dass der mittlere quadratische Fehler

  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1 x_{i1}+\ldots+\beta_m x_{im})\bigr)^2$$ (8)

  
  
  für ${\boldsymbol{\beta}}=\widehat{\boldsymbol{\beta}}$ minimal wird, vgl. auch Kapitel 3 der Vorlesung ,,Numerik 1a'' von K. Urban (Universität Ulm, Sommersemester 2005).

Beachte

$\;$ Außer den in (5) gemachten Modellannahmen werden zunächst keine zusätzlichen Voraussetzungen über die Verteilung der zufälligen Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ benötigt.