Normalverteilte Störgrößen

• Zusätzlich zu den in Abschnitt 2.1.2 gemachten Modellannahmen setzen wir von nun an voraus, daß die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ unabhängig und normalverteilt sind.
• Wegen (5) gilt dann $\varepsilon _i\sim$ N $(0,\sigma^2)$ bzw. $Y_i\sim$ N $(\alpha+\beta x_i,\sigma^2)$ für jedes $i=1,\ldots,n$.
• Außerdem ergibt sich aus dem Satz über die Unabhängigkeit zusammengesetzter Abbildungen (vgl. Theorem WR-3.18), daß die Zielvariablen $Y_1,\ldots,Y_n$ unabhängig sind.
• Für jeden Vektor $(x_1,\ldots,x_n)\in\mathbb{R}$ betrachten wir die Loglikelihood-Funktion der unabhängigen (jedoch im allgemeinen nicht identisch verteilten) Stichprobenvariablen $Y_1,\ldots,Y_n$:
  $$\log L(y_1,\ldots,y_n;\alpha,\beta,\sigma^2) =-\;\frac{n}{2}\;\... ...\sigma^2-\; \frac{\sum\limits_{i=1}^n(y_i-\alpha-\beta x_i)^2}{2\sigma^2}\;.$$

• Für jedes $\sigma^2>0$ und für jeden Vektor $(y_1,\ldots,y_n)\in\mathbb{R}$ nimmt die Loglikelihood-Funktion als Funktion von $(\alpha,\beta)$ ihr Maximum für denjenigen Vektor $(\widehat\alpha,\widehat\beta)$ an, der den Ausdruck $\sum_{i=1}^n(y_i-\alpha-\beta x_i)^2$ minimiert.
• Dieses Minimierungsproblem wurde bereits in Theorem 2.1 betrachtet: Die Lösung lautet

  $$\widehat\beta=\frac{s^2_{xy}}{s^2_{xx}}\;,\qquad\widehat\alpha= \overline y_n-\widehat\beta\overline x_n\,,$$ (16)

  
  

• Mit anderen Worten: Bei normalverteilten Störgrößen stimmt der MKQ-Schätzer mit dem ML-Schätzer für $(\alpha,\beta)$ überein.

Beachte

 

• Weil $(\widehat\alpha,\widehat\beta)$ die Loglikelihood-Funktion für jedes $\sigma^2>0$ maximiert, ergibt sich der ML-Schätzer $\widehat\sigma^2$ für $\sigma ^2$ als Maximum von
  $$\log L(y_1,\ldots,y_n;\widehat\alpha,\widehat\beta,\sigma^2)=-\;... ...c{\sum\limits_{i=1}^n(y_i-\widehat\alpha-\widehat\beta x_i)^2}{2\sigma^2}\;.$$

• Ähnlich wie im Fall von unabhängigen und identisch normalverteilten Stichprobenvariablen (vgl. Beispiel 5 in Abschnitt I.2.2.2) ergibt sich die Lösung dieses Maximierungsproblems durch zweimaliges Differenzieren nach $\sigma ^2$:

  $$\widehat\sigma^2(y_1,\ldots,y_n)=\frac{1}{n}\sum\limits_{i=1}^n(y_i-\widehat\alpha-\widehat\beta x_i)^2\,.$$ (17)

  
  

• Der in (17) gegebene ML-Schätzer $\widehat\sigma^2$ für $\sigma ^2$ ist nicht erwartungstreu.
• Um dies zu zeigen, betrachten wir zunächst die folgenden (Abweichungs-) Residuen

  $$\widehat\varepsilon _i=Y_i-\widehat\alpha-\widehat\beta x_i\,,\qquad\forall\, i=1,\ldots,n\,.$$ (18)

  
  

• Offenbar gilt

  $$\widehat\sigma^2=\frac{1}{n}\;\sum\limits_{i=1}^n\widehat\varepsilon _i^2\,.$$ (19)

  
  

• Um den Erwartungswert ${\mathbb{E}\,}\widehat\sigma^2$ zu bestimmen, genügt es also, die zweiten Momente ${\mathbb{E}\,}(\widehat\varepsilon _i^2)$ der Residuen $\widehat\varepsilon _i$ für jedes $i=1,\ldots,n$ zu bestimmen.
• Hierfür ist der folgende Hilfssatz nützlich.

Lemma 2.1   $\;$ Seien $Y_1,\ldots,Y_n:\Omega\to\mathbb{R}$ beliebige unkorrelierte Zufallsvariablen mit ${\mathbb{E}\,}(Y_i^2)<\infty$ und ${\rm Var\,}Y_i=\sigma^2$ für jedes $i=1,\ldots,n$. Für beliebige Konstanten $c_1,\ldots,c_n\in\mathbb{R}$ und $d_1,\ldots,d_n\in\mathbb{R}$ gilt dann

$${\rm Cov\,}\Bigl(\sum\limits_{i=1}^n c_iY_i,\,\sum\limits_{j=1}^n d_jY_j\Bigr)=\sigma^2\sum\limits_{i=1}^n c_id_i\,.$$ (20)

Beweis

$\;$ Es gilt

$${\rm Cov\,}\Bigl(\sum\limits_{i=1}^n c_iY_i,\,\sum\limits_{j=1}^n d_jY_j\Bigr) = \sum\limits_{i=1}^n c_i{\rm Cov\,} \Bigl(Y_i,\,\sum\limits_{j=1}^n d_jY_j\Bigr)$$

$$= \sum\limits_{i=1}^n \sum\limits_{j=1}^n c_id_j{\rm Cov\,} (Y_i,Y_j)$$

$$= \sum\limits_{i=1}^n c_id_i{\rm Cov\,} (Y_i,Y_i)$$

$$= \sigma^2\sum\limits_{i=1}^n c_id_i\,.$$

 
  $\Box$

Theorem 2.4   $\;$ Für den Erwartungswert ${\mathbb{E}\,}\widehat\varepsilon _i$ und die Varianz ${\rm Var\,}\widehat\varepsilon _i$ der Residuen $\widehat\varepsilon _i$ gilt für jedes $i=1,\ldots,n$

$${\mathbb{E}\,}\widehat\varepsilon _i=0$$ (21)

und

$${\rm Var\,}\widehat\varepsilon _i={\mathbb{E}\,}(\widehat\varepsi... ...its_{j=1}^n x_j^2+x_i^2-2(x_i-\overline x_n)^2-2x_i\overline x_n\Bigr)\Bigr)\,.$$ (22)

Beweis

 

• Weil ${\mathbb{E}\,}\varepsilon _i=0$, d.h. ${\mathbb{E}\,}Y_i=\alpha+\beta x_i$, und weil $\widehat\alpha$ bzw. $\widehat\beta$ erwartungstreue Schätzer für $\alpha$ bzw. $\beta$ sind, gilt
  

  $${\mathbb{E}\,}\widehat\varepsilon _i = {\mathbb{E}\,}(Y_i-\widehat\alpha-\widehat\beta x_i)$$

  $$= {\mathbb{E}\,}Y_i-{\mathbb{E}\,}\widehat\alpha-x_i{\mathbb{E}\,}\widehat\beta$$

  $$= \alpha+\beta x_i -\alpha-x_i\beta=0\,.$$

  
  

• Außerdem ergibt sich aus den allgemeinen Rechenregeln für die Varianz von Summen beliebiger (nicht notwendig unabhängiger) Zufallsvariablen (vgl. Theorem WR-4.13), daß
  $${\rm Var\,}\widehat\varepsilon _i={\rm Var\,} Y_i+{\rm Var\,}\wid... ... Cov\,}(Y_i,\widehat\beta)+2x_i {\rm Cov\,}(\widehat\alpha,\widehat\beta)\,.$$

• Für die Kovarianzen ergibt sich nun aus (9) und (15) mit Hilfe von Lemma 2.1, daß
  $${\rm Cov\,}(Y_i,\widehat\alpha)=\sigma^2\Bigl(\frac{1}{n}\;-\;\fr... ...Cov\,}(Y_i,\widehat\beta)=\sigma^2 \;\frac{x_i-\overline x_n}{(n-1)s^2_{xx}}$$
  und

  $${\rm Cov\,}(\widehat\alpha,\widehat\beta)=-\;\frac{\sigma^2\overline x_n}{(n-1)s^2_{xx}}\;.$$ (23)

  
  

• Auf ähnliche Weise ergibt sich aus (15), daß

  $${\rm Var\,}\widehat\alpha=\frac{\sigma^2}{n(n-1)s^2_{xx}}\;\sum\limits_{i=1}^n x_i^2\,.$$ (24)

  
  

• Aus diesen Formeln und aus (13) ergibt sich nun die Behauptung.
  
  $\Box$

Korollar 2.1   $\;$ Für den Erwartungswert des in $(\ref{def.mal.sig})$ gegebenen ML-Schätzers $\widehat\sigma^2$ gilt

$${\mathbb{E}\,}\widehat\sigma^2=\frac{n-2}{n}\;\sigma^2\,.$$ (25)

Beweis

 

• Aus (19) und aus Theorem 2.4 ergibt sich, daß
  

  $${\mathbb{E}\,}\widehat\sigma^2 = \frac{1}{n}\;\sum\limits_{i=1}^n {\mathbb{E}\,} \widehat\varepsilon _i^2$$

  $$= \frac{\sigma^2}{n}\;\sum\limits_{i=1}^n \Bigl(\frac{n-2}{n}\;+\;\... ...limits_{j=1}^n x_j^2+x_i^2-2(x_i-\overline x_n)^2-2x_i\overline x_n\Bigr)\Bigr)$$

  $$= \sigma^2 \Bigl(\frac{n-2}{n}\;+\;\frac{1}{n(n-1)s^2_{xx}}\Bigl( \... ...1)s^2_{xx}-2\;\frac{1}{n}\;\Bigl(\sum\limits_{i=1}^n x_i\Bigr)^2\Bigr)\Bigr)\,.$$

  
  

• Weil
  $$\sum\limits_{i=1}^n x_i^2-\;\frac{1}{n}\;\Bigl(\sum\limits_{i=1}^n x_i\Bigr)^2=(n-1)s^2_{xx}\,,$$
  ergibt sich hieraus die Behauptung.
  
  $\Box$

Beachte

 

• Wegen (25) ist es üblich, anstelle des ML-Schätzers $\widehat\sigma^2$ den folgenden (erwartungstreuen) Schätzer $S^2$ für $\sigma ^2$ zu verwenden:

  $$S^2=\frac{n}{n-2}\;\widehat\sigma^2=\frac{1}{n-2}\;\sum\limits_{i=1}^n\widehat\varepsilon _i^2\,,$$ (26)

  
  
  wobei vorausgesetzt wird, daß $n>2$.
• Um Hypothesen über die Modellparameter $\alpha$, $\beta$ bzw. $\sigma ^2$ testen zu können, die auf den Schätzern $\widehat\alpha$, $\widehat\beta$ bzw. $S^2$ beruhen, müssen wir die Verteilungen dieser Zufallsvariablen bzw. die (stochastischen) Zusammenhänge, die gegebenenfalls zwischen ihnen bestehen, kennen.
• In diesem Zusammenhang sind die folgenden Eigenschaften der $\chi ^2$-Verteilung bzw. der Normalverteilung nützlich.
• Zur Erinnerung: Sei $r\in\mathbb{N}$ eine beliebige natürliche Zahl, und seien $X_1,\ldots,X_r:\Omega\to\mathbb{R}$ unabhängige und N$(0,1)$-verteilte Zufallsvariablen. Dann sagt man (vgl. Abschnitt I.1.3.1), daß die Zufallsvariable $U_r=\sum_{i=1}^r X_i^2$ eine $\chi ^2$-Verteilung mit $r$ Freiheitsgraden hat. (Schreibweise: $U_r\sim \chi^2_r$)

Lemma 2.2    

• Die Zufallsvariablen $U_,V:\Omega\to\mathbb{R}$ seien unabhängig.
• Falls außerdem

  $$V\sim\,\chi^2_m \quad U+V\sim\,\chi^2_n\,,$$ (27)

  
  
  wobei $n,m\in\mathbb{N}$ beliebige natürliche Zahlen sind mit $m<n$, dann gilt $U\sim\,\chi^2_{n-m}$.

Beweis

 

• Aus der Unabhängigkeit von $U$ und $V$ folgt, daß
  $$\varphi_{U+V}(t)=\varphi_U(t)\,\varphi_V(t)\,,\qquad\forall t\in\mathbb{R}\,,$$
  wobei $\varphi_{U}(t)$, $\varphi_{V}(t)$ und $\varphi_{U+V}(t)$ die charakteristischen Funktionen von $U$, $V$ bzw. $U+V$ sind (vgl. Theorem WR-5.18).
• Falls außerdem (27) gilt, dann ergibt sich hieraus und aus Theorem I.1.5, daß für jedes $t\in\mathbb{R}$
  

  $$\varphi_U(t) = \frac{\varphi_{U+V}(t)}{\varphi_V(t)}$$

  $$= \frac{1}{(1-2\,{\rm i}\,t)^{(n-m)/2}}\;.$$

  
  

• Die erneute Anwendung von Theorem I.1.5 und des Eindeutigkeitssatzes für charakteristische Funktionen (vgl. Korollar WR-5.5) ergibt nun, daß $U\sim\,\chi^2_{n-m}$.
  
  $\Box$

Beachte

 

• Bei der Herleitung des folgenden Lemmas 2.3 benötigen wir eine vektorielle Version des Eindeutigkeitssatzes für charakteristische Funktionen (vgl. Korollar WR-5.5), die wir hier ohne Beweis angeben.
• Seien $X,Y:\Omega\to\mathbb{R}^^n$ beliebige Zufallsvektoren; $X=(X_1,\ldots,X_n)$, $Y=(Y_1,\ldots,Y_n)$. Dann gilt

  $$X\stackrel{{\rm d}}{=}Y \qquad \varphi_X(t)=\varphi_Y(t)\qquad\forall\, t\in\mathbb{R}^n\,,$$ (28)

  
  
  wobei
  $$\varphi_X(t)={\mathbb{E}\,}\exp\Bigl({\rm i}\,\sum\limits_{j=1}^n... ...arphi_Y(t)={\mathbb{E}\,}\exp\Bigl({\rm i}\,\sum\limits_{j=1}^n t_j Y_j\Bigr)$$
  die charakteristischen Funktionen von $X$ bzw. $Y$ sind; $t=(t_1,\ldots,t_n)$.

Lemma 2.3    

• Die Zufallsvariablen $Y_1,\ldots,Y_n$ seien unabhängig und normalverteilt mit $Y_i\sim$ N $(\mu_i,\sigma_i^2)$ für $i=1,\ldots,n$.
• Für beliebige Konstanten $a_{ij},b_{ik}\in\mathbb{R}$ mit $j=1,\ldots,l$ und $k=1,\ldots,m$ seien die Zufallsvariablen $U_1,\ldots,U_l$ und $V_1,\ldots,V_m$ gegeben durch
  $$U_j=\sum\limits_{i=1}^n a_{ij} Y_i\,,\qquad\forall\, j=1,\ldots,l$$
  und
  $$V_k=\sum\limits_{i=1}^n b_{ik} Y_i\,,\qquad\forall\, k=1,\ldots,m\,.$$

• Dann gilt:

  1.

  Die Zufallsvariablen $U_j$ und $V_k$ sind normalverteilt mit

  $$U_j\sim\; {\rm N}(\sum\limits_{i=1}^n a_{ij}\mu_i,\sum\limits_{i=1}^n a_{ij}^2\sigma_i^2)$$

  und

  $$V_k\sim\;{\rm N}(\sum\limits_{i=1}^n b_{ik}\mu_i,\sum\limits_{i=1}^n b_{ik}^2\sigma_i^2)\,,$$

  wobei ${\rm Cov\,}(U_j,V_k)=\sum_{i=1}^n a_{ij}b_{ik}\sigma_i^2$.

  2.

  Die Zufallsvariablen $U_j$ und $V_k$ sind genau dann unabhängig, wenn ${\rm Cov\,}(U_j,V_k)=0$.

  3.

  Die Zufallsvektoren $(U_1,\ldots,U_l)$ und $(V_1,\ldots,V_m)$ sind genau dann unabhängig, wenn die Komponenten $U_j$ und $V_k$ für beliebige $j=1,\ldots,l$ und $k=1,\ldots,m$ unabhängig sind.

Beweis

 

• Die Normalverteilheit der Zufallsvariablen ergibt sich unmittelbar aus der Faltungsstabilität der Normalverteilung, vgl. Korollar WR-3.2.
• Die Formel für die Kovarianz von $U_j$ und $V_k$ ergibt sich aus Lemma 2.1.
• Die Notwendigkeit der Bedingung in Teilaussage 2 ergibt sich aus der Multiplikationsformel für den Erwartungswert des Produktes von unabhängigen Zufallsvariablen, vgl. Korollar WR-4.5.
• Um die Hinlänglichkeit der Bedingung in Teilaussage 2 zu beweisen, können (und werden) wir o.b.d.A. voraussetzen, daß $Y_i\sim$ N$(0,1)$ für jedes $i=1,\ldots,n$.
• Für die charakteristische Funktion $\varphi_{U_j,V_k}(t,s)$ des Zufallsvektors $(U_j,V_k)$ gilt dann für beliebige $t,s\in\mathbb{R}$
  

  $$\varphi_{U_j,V_k}(t,s) = {\mathbb{E}\,}\exp\Bigl({\rm i}\,\Bigl(t\sum\limits_{i=1}^n a_{ij}Y_i+s\sum\limits_{i=1}^n b_{ik}Y_i\Bigr)\Bigr)$$

  $$= {\mathbb{E}\,}\exp\Bigl({\rm i}\,\sum\limits_{i=1}^n (ta_{ij}+s b_{ik})Y_i\Bigr)$$

  $$= \prod\limits_{i=1}^n{\mathbb{E}\,}\exp\Bigl({\rm i}\, (ta_{ij}+s b_{ik})Y_i\Bigr)$$

  $$= \prod\limits_{i=1}^n\exp\Bigl(-\;\frac{ (ta_{ij}+s b_{ik})^2}{2}\Bigr)$$

  $$= \exp\Bigl(-\;\frac{\sum\limits_{i=1}^n (ta_{ij})^2+ \sum\limits_{i=1}^n (s b_{ik})^2}{2}\Bigr)$$

  $$= \exp\Bigl(-\;\frac{\sum\limits_{i=1}^n (ta_{ij})^2}{2}\Bigr)\;\exp\Bigl(-\;\frac{\sum\limits_{i=1}^n (s b_{ik})^2}{2}\Bigr)$$

  $$= \varphi_{U_j}(t)\;\varphi_{V_k}(s)\,,$$

  
  
  wobei sich die drittletzte Gleichheit aus der Annahme ergibt, daß Zufallsvariablen $U_j$ und $V_k$ unkorreliert sind und daß deshalb
  $${\rm Cov\,}(U_j,V_k)=\sum\limits_{i=1}^n a_{ij}b_{ik}=0\,.$$

• Die Hinlänglichkeit der Bedingung in Teilaussage 2 ergibt sich nun aus dem Eindeutigkeitssatz für charakteristische Funktionen von Zufallsvektoren, vgl. (28), weil das Produkt der charakteristischen Funktionen von unabhängigen Zufallsvektoren $Z$ und $Z^\prime$ gleich der (gemeinsamen) charakteristischen Funktion des Zufallsvektors $(Z,Z^\prime)$ ist.
• Die Notwendigkeit der Bedingung in Teilaussage 3 ergibt sich unmittelbar aus der Definition der Unabhängigkeit von Zufallsvektoren.
• Die Hinlänglichkeit der Bedingung in Teilaussage 3 läßt sich auf auf ähnliche Weise wie die Hinlänglichkeit der Bedingung in Teilaussage 2 zeigen.
  
  $\Box$

Theorem 2.5    

1.

Für das einfache lineare Regressionsmodell mit normalverteilten Störgrößen $\,\varepsilon _1,\ldots,\varepsilon _n$ gilt

$$\widehat\alpha\sim\,{\rm N}\Bigl(\alpha,\frac{\sigma^2}{n(n-1)s^2... ...idehat\beta\sim\,{\rm N}\Bigl(\beta\,,\;\frac{\sigma^2}{(n-1)s^2_{xx}}\Bigr)\,,$$ (29)

wobei

$${\rm Cov\,}(\widehat\alpha,\widehat\beta)=-\;\frac{\sigma^2\overline x_n}{(n-1)s^2_{xx}}\;.$$ (30)

2.

Die Zufallsvariablen $(\widehat\alpha,\widehat\beta)$ und $S^2$ sind unabhängig, und es gilt

$$\frac{(n-2) S^2}{\sigma^2}\;\sim\chi^2_{n-2}\,.$$ (31)

Beweis

 

• Weil die Stichprobenvariablen $Y_1,\ldots,Y_n$ unabhängig und normalverteilt sind und weil die Schätzer $\widehat\alpha$ und $\widehat\beta$ jeweils Linearkombinationen der Stichprobenvariablen $Y_1,\ldots,Y_n$ sind, ergibt sich aus Teilaussage 1 von Lemma 2.3, daß die Schätzer $\widehat\alpha$ und $\widehat\beta$ ebenfalls normalverteilt sind.
• Die Erwartungstreue von $\widehat\alpha$ und $\widehat\beta$ wurde bereits in Abschnitt 2.1.2 diskutiert.
• Die Varianzen von $\widehat\alpha$ und $\widehat\beta$ bzw. die Kovarianz ${\rm Cov\,}(\widehat\alpha,\widehat\beta)$ wurden in (13), (23) bzw. (24) bestimmt.
• Die Unabhängigkeit der Zufallsvariablen $(\widehat\alpha,\widehat\beta)$ und $S^2$ ergibt sich aus den folgenden Überlegungen.
• Aus der Definitionsgleichung (18) der Residuen $\widehat\varepsilon _i$ folgt, daß

  $$\widehat\varepsilon _i=\sum\limits_{j=1}^n\bigl(\delta_{ij}-(c_j+d_jx_i)\bigr)Y_j\,,$$ (32)

  
  
  wobei die Konstanten $c_j,d_j$ in (9) bzw. (15) gegeben sind und
  $$\delta_{ij}=\left\{\begin{array}{ll} 1 & \mbox{if $i=j$,}\\ 0 & \mbox{if $i\not=j$.} \end{array}\right.$$

• Aus Lemma 2.1 ergibt sich nun, daß für jedes $i=1,\ldots,n$
  

  $${\rm Cov\,}(\widehat\varepsilon _i,\widehat\alpha) = {\rm Cov\,}\Bigl(\sum\limits_{j=1}^n\bigl(\delta_{ij}-(c_j+d_jx_i)\bigr)Y_j,\sum\limits_{k=1}^n c_kY_k\Bigr)$$

  $$= \sigma^2\sum\limits_{j=1}^n\bigl(\delta_{ij}-(c_j+d_jx_i)\bigr)c_j$$

  $$= \sigma^2 \Bigl(c_i-\sum\limits_{j=1}^n c_j^2-x_i\sum\limits_{j=1}^n c_jd_j\Bigr)$$

  $$= 0\,.$$

  
  

• Dabei ergibt sich die letzte Gleichheit aus den Darstellungsformeln (9) und (15) für $c_i$ und $d_i$, d.h.
  $$c_i=\frac{1}{n}\;-\;\frac{\overline x_n(x_i-\overline x_n)}{(n-1... ...d_i=\frac{x_i-\overline x_n}{(n-1)s^2_{xx}}\,,\qquad\forall\,i=1,\ldots,n\,,$$
  denn aus diesen beiden Formeln folgt, daß
  $$\sum\limits_{j=1}^n c_j^2=\frac{1}{n}\;+\;\frac{\overline x_n^2}... ...,\qquad \sum\limits_{j=1}^n c_jd_j=-\;\frac{\overline x_n}{(n-1)s^2_{xx}}\;.$$

• Auf die gleiche Weise ergibt sich aus Lemma 2.1, daß ${\rm Cov\,}(\widehat\varepsilon _i,\widehat\beta)=0$ für jedes $i=1,\ldots,n$.
• Aus den Teilaussagen 2 und 3 von Lemma 2.3 folgt nun, daß die Zufallsvektoren $(\widehat\alpha,\widehat\beta)$ und $(\widehat\varepsilon _1,\ldots,\widehat\varepsilon _n)$ unabhängig sind.
• Aus dem Transformationssatz für unabhängige Zufallsvektoren (vgl. Theorem I.1.8) ergibt sich somit, daß auch die Zufallsvariablen $(\widehat\alpha,\widehat\beta)$ und $S^2$ unabhängig sind.
• Um den Beweis zu beenden, bleibt also noch die Gültigkeit der Verteilungseigenschaft (31) zu zeigen.
• Aus (16) und (17) ergibt sich, daß sich die Summe der Abweichungsquadrate $\sum_{i=1}^n\widehat\varepsilon _i^2$ bei der Skalenverschiebung
  $$x_i^\prime=x_i-\overline x_n\,,\qquad\forall\, i=1,\ldots,n$$
  nicht ändert. Wir können (und werden) deshalb o.B.d.A. voraussetzen, daß $\overline x_n=0$.
• Die Konstanten $c_i,d_i$ in (32) haben dann die Form

  $$c_i=\frac{1}{n}\,,\qquad d_i=\frac{x_i}{\sum\limits_{j=1}^n x_j^2}\,.$$ (33)

  
  

• Hieraus und aus (26) bzw. (32) ergibt sich nun, daß
  

  $$(n-2)S^2 = \sum\limits_{i=1}^n\widehat\varepsilon _i^2 = \sum\limits_{i=1}^n \bigl(Y_i-\widehat\alpha-\widehat\beta x_i\bigr)^2$$

  $$= \sum\limits_{i=1}^n \bigl(Y_i-\alpha-\beta x_i+(\alpha-\widehat\alpha)+(\beta-\widehat\beta) x_i\bigr)^2$$

  $$= \sum\limits_{i=1}^n \bigl(Y_i-\alpha-\beta x_i\bigr)^2-n\bigl(\wi... ...ha-\alpha\bigr)^2-\sum\limits_{j=1}^n x_j^2\bigl(\widehat\beta-\beta\bigr)^2\,,$$

  
  
  wobei sich die letzte Gleichheit durch Ausmultiplizieren der Klammern bzw. durch Einsetzen von (33) in die Definitionsgleichungen $\widehat\alpha=c_1Y_1+\ldots+c_nY_n$ und $\widehat\beta=d_1Y_1+\ldots+d_nY_n$ von $\widehat\alpha$ bzw. $\widehat\beta$ ergibt, wenn dabei berücksichtigt wird, daß $n\,\overline x_n=x_1+\ldots+x_n=0$.
• Mit anderen Worten: Es gilt

  $$(n-2)S^2+Z^2=\sum\limits_{i=1}^n \bigl(Y_i-\alpha-\beta x_i\bigr)^2\,,$$ (34)

  
  
  wobei
  $$Z^2=n\bigl(\widehat\alpha-\alpha\bigr)^2+\sum\limits_{j=1}^n x_j^2\bigl(\widehat\beta-\beta\bigr)^2$$
  und die Zufallsvariablen $Y_i^\prime=Y_i-\alpha-\beta x_i$ für jedes $i=1,\ldots,n$ unabhängig und identisch N $(0,\sigma^2)$-verteilt sind.
• Aus (34) und aus der Definition der $\chi ^2$-Verteilung ergibt sich somit, daß

  $$\frac{(n-2)S^2+Z^2}{\sigma^2}\sim\;\chi^2_n\,.$$ (35)

  
  

• Weil bereits gezeigt wurde, daß die Zufallsvariablen $(\widehat\alpha,\widehat\beta)$ und $S^2$ unabhängig sind, sind somit auch die Zufallsvariablen $(n-2)S^2$ und $Z^2$ unabhängig.
• Außerdem gilt $Z^2=Z_1^2+Z_2^2$, wobei sich aus (29) und (30) bzw. aus Lemma 2.3 ergibt, daß die Zufallsvariablen
  $$Z_1=\sqrt{n}\; \bigl(\widehat\alpha-\alpha\bigr)\,,\qquad Z_2= \sqrt{\sum\limits_{j=1}^n x_j^2}\;\bigl(\widehat\beta-\beta\bigr)$$
  unabhängig und identisch N $(0,\sigma^2)$-verteilt sind.
• Aus der Definition der $\chi ^2$-Verteilung ergibt sich nun, daß $Z^2/\sigma^2$ eine $\chi^2_2$-verteilte Zufallsvariable ist.
• Die Gültigkeit von (31) folgt somit aus Lemma 2.2.
  
  $\Box$