Einfache lineare Regression

• So wie bei den 2-Stichproben-Problemen, die wir in den Kapiteln 3 und 4 betrachtet haben, gehen wir bei der einfachen Regression von zwei Datensätzen $(x_1,\ldots,x_n)\in \mathbb{R}^n$ und $(y_1,\ldots,y_n)\in \mathbb{R}^n$ aus, die stochastisch modelliert werden sollen.
• Dabei fassen wir die Vektoren $(x_1,y_1),\ldots,(x_n,y_n)$ als Realisierungen von $n$ Zufallsvektoren $(X_1,Y_1),\ldots,$ $(X_n,Y_n)$ auf, die typischerweise nicht identisch verteilt sind.
• Wir deuten die Zufallsvariablen $Y_1,\ldots,Y_n$ als Zielvariablen und nehmen an, dass sie auf die folgende Weise von den Ausgangsvariablen $X_1,\ldots,X_n$ abhängen:

  $$Y_i=\varphi(X_i)+\varepsilon _i\,,\qquad\forall\,i=1,\ldots,n\,,$$ (1)

  
  
  wobei
  • $\varphi:\mathbb{R}\to\mathbb{R}$ eine beliebige (Borel-messbare) Funktion, die sogenannte Regressionsfunktion ist und
  • $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ Zufallsvariablen, sogenannte Störgrößen sind, durch die beispielsweise zufällige Messfehler modelliert werden können.

Beachte

 

• Ein wichtiger Spezialfall liegt vor, wenn die Regressionsfunktion $\varphi:\mathbb{R}\to\mathbb{R}$ eine lineare Funktion ist, die sogenannte Regressionsgerade, d.h., wenn es reelle Zahlen $\alpha,\beta\in\mathbb{R}$ gibt mit

  $$\varphi(x)=\alpha+\beta x\,,\qquad\forall\, x\in\mathbb{R}\,,$$ (2)

  
  
  wobei $\alpha$ die Regressionskonstante und $\beta$ der Regressionskoeffizient genannt wird.
• Die Größen $\alpha,\beta\in\mathbb{R}$ sind unbekannte Modellparameter, die aus den beobachteten Daten $(x_1,\ldots,x_n)\in \mathbb{R}^n$ und $(y_1,\ldots,y_n)\in \mathbb{R}^n$ geschätzt werden sollen.