Einfache lineare Regression

• So wie bisher gehen wir bei der einfachen linearen Regression von zwei Datensätzen $(x_1,\ldots,x_n)\in\mathbb{R}^n$ und $(y_1,\ldots,y_n)\in\mathbb{R}^n$ aus, deren Eigenschaften jedoch nun mit Hilfe eines stochastischen Modells untersucht werden sollen.
• Dabei fassen wir die (nicht beobachtbaren!) Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ in der Regressionsgleichung (2.33)
  • als Realisierungen von $n$ (stochastisch) unabhängigen und identisch verteilten Zufallsvariablen auf,
  • durch die beispielsweise zufällige Messfehler modelliert werden können und
  • die wir (der Einfachheit der Schreibweise wegen) ebenfalls mit $\varepsilon _1,\ldots,\varepsilon _n$ bezeichnen.
• Wir nehmen also insbesondere an, dass
  • die zufälligen Störgrößen $\varepsilon _1,\ldots,\varepsilon _n:\Omega\to\mathbb{R}$ Abbildungen sind, die über einem (nicht näher spezifizierten) Wahrscheinlichkeitsraum $(\Omega,\mathcal{F},\mathbb{P})$ definiert sind.
  • Dabei gelte für jedes $i=1,\ldots,n$

    $${\mathbb{E}\,}\varepsilon _i=0\,,\qquad{\rm Var\,}\varepsilon _i=\sigma^2\,,$$ (1)

    
    
    wobei $\sigma^2>0$ ein gewisser (im allgemeinen unbekannter) Modellparameter ist.
• Die beobachteten Zielwerte $y_1,\ldots,y_n$ fassen wir als Realisierungen von $n$ Zufallsvariablen $Y_1,\ldots,Y_n$ auf, die auf die folgende Weise von den (deterministischen) Ausprägungen $x_1,\ldots,x_n$ der Ausgangsvariablen und von den (zufälligen) Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ abhängen:

  $$Y_i=\alpha+ \beta x_i+\varepsilon _i\,,\qquad\forall\,i=1,\ldots,n\,.$$ (2)

  
  

• Beachte 
  • Die Zielvariablen $Y_1,\ldots,Y_n$ sind zwar (stochastisch) unabhängige, jedoch typischerweise nicht identisch verteilte Zufallsvariablen.
  • Aus den allgemeinen Rechenregeln für Erwartungswert bzw. Varianz ergibt sich für jedes $i=1,\ldots,n$

    $${\mathbb{E}\,}Y_i=\alpha+\beta x_i\,,\qquad {\rm Var\,}Y_i=\sigma^2\,.$$ (3)

    
    

  • Die Regressionskonstante $\alpha$ und der Regressionskoeffizient $\beta$ sowie die Varianz $\sigma^2$ der Störgrößen sind unbekannte Modellparameter, die aus den beobachteten Daten $x_1,\ldots,x_n$ und $y_1,\ldots,y_n$ geschätzt werden sollen.