Normalverteilte Störgrößen

• Um Aussagen über die Verteilungen der in (4) bzw. (5) betrachteten Kleinste-Quadrate-Schätzer $\widehat\alpha$, $\widehat\beta$ und $S^2$ machen zu können, benötigen wir Verteilungsannahmen über die (zufälligen) Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$.
  • Zusätzlich zu den Modellannahmen, die bisher in Abschnitt 3.1 gemacht wurden, setzen wir deshalb von nun an voraus, dass $n>2$ und dass die (unabhängigen und identisch verteilten) Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ normalverteilt sind.
  • Zur Erinnerung: Seien $\mu\in\mathbb{R}$ und $\sigma^2>0$ beliebige, jedoch fest vorgegebene Zahlen. Man sagt, dass die Zufallsvariable $Z:\Omega\to\mathbb{R}$ normalverteilt ist mit dem Erwartungswert ${\mathbb{E}\,}Z=\mu$ und der Varianz ${\rm Var\,}Z=\sigma^2$ (und verwendet dann die Schreibweise $Z\sim$ N $(\mu,\sigma^2)$), falls die Dichte von $Z$ gegeben ist durch
    $$f_Z(x)=\frac{1}{\displaystyle \sqrt{2\pi\sigma^2}}\;\exp\Biggl(-\frac{(x-\mu)^2}{2\sigma^2}\Biggr)\;,\qquad \forall\, x\in\mathbb{R}\,,$$
    mit der graphischen Darstellung:

    
    

    

    
    

  • Wegen (1) gilt dann $\varepsilon _i\sim$ N $(0,\sigma^2)$, d.h., der Erwartungswert ${\mathbb{E}\,}\varepsilon _i$ der normalverteilten Störgröße $\varepsilon _i$ ist 0 und die Varianz ${\rm Var\,}\varepsilon _i$ von $\varepsilon _i$ ist $\sigma^2$ für jedes $i=1,\ldots,n$.
  • Mit anderen Worten: Die Wahrscheinlichkeitsdichte $f_{\varepsilon }(x)$ der Zufallsvariablen $\varepsilon _1,\ldots,\varepsilon _n$ ist gegeben durch
    $$f_{\varepsilon }(x)=\frac{1}{\displaystyle \sqrt{2\pi\sigma^2}}\;\exp\Biggl(-\frac{x^2}{2\sigma^2}\Biggr)\;,\qquad \forall\, x\in\mathbb{R}\,.$$

  • Wegen der Invarianzeigenschaften der Normalverteilung unter Linear-Transformation folgt hieraus außerdem, dass die (unabhängigen, jedoch im allgemeinen nicht identisch verteilten) Zielvariablen $Y_1,\ldots,Y_n$ ebenfalls normalverteilt sind, wobei

    $$Y_i\sim\,{\rm N}(\alpha+\beta x_i,\sigma^2)\,,\qquad\forall\,i=1,\ldots,n\,.$$ (9)

    
    

• Weil die Kleinste-Quadrate-Schätzer $\widehat\alpha$ und $\widehat\beta$ Linearkombinationen der unabhängigen und normalverteilten Zielvariablen $Y_1,\ldots,Y_n$ sind, ergibt sich nun aus (4) und (9) (wegen der sogenannten Faltungsstabilität der Normalverteilung),
  • dass auch die Zufallsvariablen $\widehat\alpha$ und $\widehat\beta$ normalverteilt sind, wobei

    $$\widehat\alpha\sim\,{\rm N}\Biggl(\alpha,\frac{\displaystyle\si... ...c{\sigma^2}{\displaystyle \sum\limits_{i=1}^n (x_i-\overline x_n)^2}\Biggr)\,.$$ (10)

    
    

  • Außerdem kann man zeigen, dass der aus $\widehat\alpha$ und $\widehat\beta$ gebildete Zufallsvektor $(\widehat\alpha,\widehat\beta)$ unabhängig ist von dem Kleinste-Quadrate-Schätzer $S^2$,
  • wobei die Zufallsvariable $(n-2) S^2/\sigma^2$ eine sogenannte $\chi^2$-Verteilung mit $n-2$ Freiheitsgraden hat, d.h.,

    $$\frac{(n-2) S^2}{\sigma^2}\;\sim\chi^2_{n-2}\,.$$ (11)

    
    

• Zur Erinnerung: Sei $r\in\mathbb{N}$ eine beliebige natürliche Zahl, und seien $Z_1,\ldots,Z_r:\Omega\to\mathbb{R}$ unabhängige und N$(0,1)$-verteilte Zufallsvariablen.
  • Dann sagt man, dass die Zufallsvariable $U_r=\sum_{i=1}^r Z_i^2$ eine $\chi^2$-Verteilung mit $r$ Freiheitsgraden hat. (Schreibweise: $U_r\sim \chi^2_r$).
  • Die Dichte von $U_r$ ist gegeben durch

    $$f_{U_r}(x)=\left\{\begin{array}{ll}\displaystyle \frac{x^{(r-2)/2... ...Gamma(r/2)}\,, & \mbox{falls $x>0$,}\\ 0 & \mbox{sonst,} \end{array}\right.$$ (12)

    
    
    wobei $\Gamma(1)=1$, $\Gamma(1/2)=\sqrt{\pi}$ und $\Gamma(p+1)=p\,\Gamma(p)$, mit der graphischen Darstellung:

    
    

    
  • Die $\chi^2$-Verteilungen bilden eine Klasse von sogenannten statistischen Prüfverteilungen, die bei der Konstruktion von Signifikanztests bzw. Konfidenzintervallen nützlich sind, vgl. die nachfolgenden Abschnitte 3.1.3-3.1.6.