Tests für die Regressionskoeffizienten; Quadratsummenzerlegung

• Mit Hilfe der Verteilungs- und Unabhängigkeitseigenschaften von linearen bzw. quadratischen Formen normalverteilter Zufallsvektoren, die in den Abschnitten 1.3.3 bzw. 2.2.2 hergeleitet wurden, kann man t-Tests bzw. F-Tests zur Verifizierung von Hypothesen über die Regressionskoeffizienten $\beta_1,\ldots,\beta_m$ konstruieren.
• Dabei verwenden wir so wie bisher die (unabhängigen) Schätzer $\widehat{\boldsymbol{\beta}}$ und $S^2$ für ${\boldsymbol {\beta }}$ bzw. $\sigma ^2$, wobei

  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}... ...\bigl({\boldsymbol{\beta}}, \sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1}\bigr)$$ (41)

  
  
  bzw.

  $$\frac{(n-m)S^2}{\sigma^2}=\frac{1}{\sigma^2}\; ({\mathbf{Y}}-{\ma... ...\top({\mathbf{Y}}-{\mathbf{X}}\widehat{\boldsymbol{\beta}}) \sim\chi^2_{n-m} .$$ (42)

  
  

Zunächst diskutieren wir den folgenden F-Test, der auch Test auf Gesamtzusammenhang bzw. Test auf Signifikanz des Modells genannt wird.

• Hierbei wird die Null-Hypothese $H_0:\beta_1=\ldots=\beta_m=0$ (gegen die Alternative $H_1:\beta_j\not=0$ für ein $j\in\{1,\ldots,m\}$) getestet.
• Die Wahl der Testgröße ist durch die folgende Quadratsummenzerlegung motiviert.

Theorem 2.9   $\;$ Mit der Schreibweise $\widehat{\mathbf{Y}}={\mathbf{X}}\widehat{\boldsymbol{\beta}}$ gilt

$${\mathbf{Y}}^\top{\mathbf{Y}}= \widehat{\mathbf{Y}}^\top \widehat... ...\widehat{\mathbf{Y}}\bigr)^\top\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr) .$$ (43)

Beweis

 

• Es gilt
  

  $${\mathbf{Y}}^\top{\mathbf{Y}} = \sum\limits_{i=1}^n Y_i^2\; =\; \sum\limits_{i=1}^n \Bigl((Y_i-\w... ...t Y_i)^2+ 2\underbrace{\sum\limits_{i=1}^n (Y_i-\widehat Y_i)\widehat Y_i}_{=0}$$

  $$= \sum\limits_{i=1}^n \widehat Y_i^2+ \sum\limits_{i=1}^n (Y_i-\wid... ...\widehat{\mathbf{Y}}\bigr)^\top\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr) .$$

  
  

• Dabei ergibt sich die vorletzte Gleichheit aus der folgenden Überlegung: Es gilt

  
  

  $$\sum\limits_{i=1}^n (Y_i-\widehat Y_i)\widehat Y_i = ({\mathbf{Y}}-\widehat{\mathbf{Y}})^\top\widehat{\mathbf{Y}}\;=\;... ...^\top{\mathbf{X}}\widehat{\boldsymbol{\beta}}}_{={\mathbf{X}}^\top{\mathbf{Y}}}$$

  $$= {\mathbf{Y}}^\top{\mathbf{X}}\widehat{\boldsymbol{\beta}}-\wideha... ...bigr)^\top-\widehat{\boldsymbol{\beta}}^\top{\mathbf{X}}^\top{\mathbf{Y}} =0 .$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Der erste Summand $\widehat{\mathbf{Y}}^\top \widehat{\mathbf{Y}}$ auf der rechten Seite von (43) ist die quadrierte Länge des Vektors $\widehat{\mathbf{Y}}={\mathbf{X}}\widehat{\boldsymbol{\beta}}$ der geschätzten Zielwerte $\widehat Y_1,\ldots,\widehat Y_n$.
• Die zweite Komponente der Quadratsummenzerlegung (43), d.h. die Summe der Abweichungsquadrate $\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)^\top\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)$, wird Reststreuung genannt.
• Manchmal wird auch die so genannte Bestimmtheitsmaßzahl $R^2$ betrachtet, die gegeben ist durch
  $$R^2=1-\;\frac{\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)^\top ... ...;,\qquad\mbox{wobei}\qquad \overline Y=\frac{1}{n} \sum\limits_{i=1}^n Y_i .$$

Aus unserer Modellannahme, dass die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. ${ {\rm rg}}({\mathbf{X}})=m$, ergibt sich die Ungleichung $({\mathbf{X}}{\boldsymbol{\beta}})^\top({\mathbf{X}}{\boldsymbol{\beta}})= {\boldsymbol{\beta}}^\top({\mathbf{X}}^\top{\mathbf{X}}){\boldsymbol{\beta}}>0$, wenn die Hypothese $H_0:\beta_1=\ldots=\beta_m=0$ falsch ist.

• Deshalb ist es naheliegend, die Hypothese $H_0$ abzulehnen, wenn die quadrierte Länge $\widehat{\mathbf{Y}}^\top \widehat{\mathbf{Y}}$ des Zufallsvektors $\widehat{\mathbf{Y}}={\mathbf{X}}\widehat{\boldsymbol{\beta}}$ hinreichend groß ist.
• Dabei wird auch die Variabilität $\sigma ^2$ der Daten bei der Entscheidung berücksichtigt, was ,,hinreichend groß'' ist.
  • Unter $H_0:{\boldsymbol{\beta}}={\mathbf{o}}$ gilt
    $${\mathbb{E} }\bigl({\mathbf{Y}}^\top{\mathbf{Y}}\bigr)\;=\;{\mat... ...Bigr)\;=\;\sum\limits_{i=1}^n {\mathbb{E} }\varepsilon _i^2\;=\; n\sigma^2 .$$

  • Aus Theorem 2.9 folgt in diesem Fall, dass
    $$n\sigma^2={\mathbb{E} }\bigl(\widehat{\mathbf{Y}}^\top \widehat{... ...t{\mathbf{Y}}\bigr)^\top\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)\bigr) ,$$

  • weshalb bei der Überprüfung der Hypothese $H_0:{\boldsymbol{\beta}}={\mathbf{o}}$ der Quotient von $\widehat{\mathbf{Y}}^\top \widehat{\mathbf{Y}}$ und der Summe der Abweichungsquadrate $\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)^\top\bigl({\mathbf{Y}}-\widehat{\mathbf{Y}}\bigr)$ betrachtet wird.
• Genauer gesagt: Wir betrachten die folgende Testgröße

  $$T_{\rm mod} =\frac{\widehat{\boldsymbol{\beta}}^\top({\mathbf{X}}^\top{\mathbf{X}})\widehat{\boldsymbol{\beta}}}{mS^2}\;.$$ (44)

  
  

Um einen auf $T_{\rm mod}$ basierenden Test der Hypothese $H_0:\beta_1=\ldots=\beta_m=0$ konstruieren zu können, muss die Verteilung der Testgröße $T_{\rm mod}$ bestimmt werden.

Theorem 2.10   $\;$ Unter $H_0:\beta_1=\ldots=\beta_m=0$ gilt

$$T_{\rm mod}\sim {\rm F}_{m,n-m} ,$$ (45)

d.h., die in $(\ref{def.tes.mul})$ gegebene Testgröße $T_{\rm mod}$ ist F-verteilt mit $(m,n-m)$ Freiheitsgraden.

Beweis

 

• Unter $H_0:\beta_1=\ldots=\beta_m=0$ gilt $\widehat{\boldsymbol{\beta}}\sim {\rm N}({\mathbf{o}}, {\mathbf{K}})$ mit ${\mathbf{K}}=\sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1}$.
• Hieraus folgt, dass $(\sigma^{-1}{\mathbf{X}})^\top(\sigma^{-1}{\mathbf{X}}){\mathbf{K}}= (\sigma^{... ...ma^{-1}{\mathbf{X}})\sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1} = {\mathbf{I}}$, d.h. insbesondere, dass die Matrix $(\sigma^{-1}{\mathbf{X}})^\top(\sigma^{-1}{\mathbf{X}}){\mathbf{K}}$ idempotent ist.
• Aus Theorem 1.9 ergibt sich nun, dass die quadratische Form $\sigma^{-2}\widehat{\boldsymbol{\beta}}^\top({\mathbf{X}}^\top{\mathbf{X}})\widehat{\boldsymbol{\beta}}$ eine (zentrale) $\chi ^2$-Verteilung mit $m$ Freiheitsgraden hat.
• Außerdem hatten wir in Theorem 2.7 gezeigt, dass die Zufallsvariable $(n-m)S^2/\sigma^2$ eine (zentrale) $\chi ^2$-Verteilung mit $n-m$ Freiheitsgraden hat.
• In Theorem 2.8 hatten wir gezeigt, dass $\widehat{\boldsymbol{\beta}}$ und $S^2$ unabhängig sind.
• Aus dem Transformationssatz für unabhängige Zufallsvektoren (vgl. Theorem I-1.8) folgt somit, dass auch die Zufallsvariablen $\sigma^{-2}\widehat{\boldsymbol{\beta}}^\top({\mathbf{X}}^\top{\mathbf{X}})\widehat{\boldsymbol{\beta}}$ und $(n-m)S^2/\sigma^2$ unabhängig sind.
• Die Behauptung ergibt sich nun aus der Definition der F-Verteilung, vgl. Abschnitt I-3.1.3.
  
  $\Box$

Beachte

 

• Beim Test der Hypothese $H_0:\beta_1=\ldots=\beta_m=0$ zum Niveau $\alpha\in(0,1)$ (gegen die Alternative $H_1:\beta_j\not=0$ für ein $j\in\{1,\ldots,m\}$) wird die Nullhypothese $H_0$ abgelehnt, wenn

  $$T_{\rm mod} > {\rm F}_{m,n-m,1-\alpha} ,$$ (46)

  
  
  wobei ${\rm F}_{m,n-m,1-\alpha}$ das $1-\alpha$-Quantil der F-Verteilung mit $(m,n-m)$ Freiheitsgraden bezeichnet.
• Auf ähnliche Weise lässt sich ein F-Test zur Verifizierung der Hypothese $H_0: {\boldsymbol{\beta}}={\boldsymbol{\beta}}_0$ zum Niveau $\alpha\in(0,1)$ (gegen die Alternative $H_1: {\boldsymbol{\beta}}\not={\boldsymbol{\beta}}_0$) für einen beliebigen hypothetischen Parametervektor ${\boldsymbol{\beta}}_0=(\beta_{01},\ldots,\beta_{0m})$ konstruieren.
• So wie im Beweis von Theorem 2.10 vorgehend kann man zeigen, dass unter $H_0: {\boldsymbol{\beta}}={\boldsymbol{\beta}}_0$ die Testgröße

  $$T_{{\boldsymbol{\beta}}_0} =\frac{(\widehat{\boldsymbol{\beta}}-{... ...^\top{\mathbf{X}}) (\widehat{\boldsymbol{\beta}}-{\boldsymbol{\beta}}_0)}{mS^2}$$ (47)

  
  
  F-verteilt ist mit $(m,n-m)$ Freiheitsgraden.
• Die Nullhypothese $H_0: {\boldsymbol{\beta}}={\boldsymbol{\beta}}_0$ wird somit abgelehnt, wenn

  $$T_{{\boldsymbol{\beta}}_0} > {\rm F}_{m,n-m,1-\alpha} .$$ (48)

  
  

Zur Verifizierung von Hypothesen über einzelne Komponenten von ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ werden dagegen t-Tests verwendet.

• Sei $j\in\{1,\ldots,m\}$. Um einen hypothetischen Wert $\beta_{0,j}$ der $j$-ten Komponente $\beta_j$ des Parametervektors ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ zu testen, betrachten wir die Testgröße

  $$T_j=\frac{ \widehat\beta_j-\beta_j }{S\sqrt{x^{jj}}}\;,$$ (49)

  
  
  wobei $x^{ij}$ die $(i,j)$-te Eintragung der (inversen) Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ bezeichnet.
• Aus (41) - (42) und aus der Unabhängigkeit von $\widehat{\boldsymbol{\beta}}$ und $S^2$ ergibt sich, dass $T_j\sim$ t$_{n-m}$.
• Beim Test der Hypothese $H_0:\beta_j=\beta_{0,j}$ zum Niveau $\alpha\in(0,1)$ (gegen die Alternative $H_1:\beta_j\not=\beta_{0,j}$) wird die Nullhypothese $H_0$ abgelehnt, wenn

  $$\frac{\bigl\vert\widehat\beta_j-\beta_{0,j}\bigr\vert}{S\sqrt{x^{jj}}}> {\rm t}_{n-m,1-\alpha/2} ,$$ (50)

  
  
  wobei ${\rm t}_{n-m,1-\alpha/2}$ das $(1-\alpha/2)$-Quantil der t-Verteilung mit $n-m$ Freiheitsgraden bezeichnet.

Beachte

 

• Der Test der Hypothese $H_0:\beta_j=0$ (gegen die Alternative $H_1:\beta_j\not=0$) ist von besonderem Interesse, weil damit verifiziert werden kann, inwieweit die Zielvariablen $Y_1,\ldots,Y_n$ überhaupt von dem $j$-ten Einflussfaktor abhängen.
• Bei diesem Test auf Signifikanz des $j$-ten Einflussfaktors wird die Nullhypothese $H_0:\beta_j=0$ abgelehnt, wenn

  $$\frac{\bigl\vert\widehat\beta_j\bigr\vert}{S\sqrt{x^{jj}}}> {\rm t}_{n-m,1-\alpha/2} .$$ (51)

  
  

Die bisher in diesem Abschnitt betrachteten Tests sind Spezialfälle des folgenden universellen Tests. Dabei wird ein beliebiger Teil der Komponenten des Parametervektors ${\boldsymbol {\beta }}$ getestet.

• Für $\ell\in\{1,\ldots,m\}$ und $\beta_{0,\ell},\ldots,\beta_{0m}\in\mathbb{R}$ soll die Hypothese

  $$H_0:\beta_{\ell}=\beta_{0,\ell},\ldots,\beta_m=\beta_{0m} \qquad H_1:\beta_j\not=\beta_{0j}\; \mbox{für ein $j\in\{\ell,\ldots,m\}$}$$ (52)

  
  
  getestet werden.
• Hierfür betrachten wir die folgende $(m-\ell+1)\times(m-\ell+1)$-dimensionale Teilmatrix ${\mathbf{K}}_{\rm uni}$ der Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}=(x^{ij})$ mit
  $${\mathbf{K}}_{\rm uni}=\left(\begin{array}{ccc} x^{\ell,\ell} & \... ...m}\\ \vdots & &\vdots\\ x^{m,\ell} & \ldots & x^{mm} \end{array}\right) .$$
  • Man kann zeigen, dass die inverse Matrix ${\mathbf{K}}_{\rm uni}^{-1}$ wohldefiniert ist, denn es gilt ${\mathbf{K}}_{\rm uni}={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top$, wobei ${\mathbf{H}}=({\bf0},{\mathbf{I}})$, die Nullmatrix ${\bf0}$ die Dimension $(m-\ell+1)\times(\ell-1)$ und die Einheitsmatrix ${\mathbf{I}}$ die Dimension $(m-\ell+1)\times(m-\ell+1)$ hat.
  • Hieraus und aus Lemma 1.8 folgt, dass die Matrix ${\mathbf{K}}_{\rm uni}$ positiv definit und damit invertierbar ist.
• Ein Ansatz zur Lösung des Testproblems (52) ist dann durch die Testgröße

  $$T_{\rm uni}=\frac{\bigl(\widehat{\boldsymbol{\beta}}_{\rm uni}-{\... ...ldsymbol{\beta}}_{\rm uni}-{\boldsymbol{\beta}}_{\rm uni}\bigr)}{(m-\ell+1)S^2}$$ (53)

  
  
  gegeben, wobei $\widehat{\boldsymbol{\beta}}_{\rm uni} =(\widehat\beta_{\ell},\ldots,\widehat\beta_m)$ und ${\boldsymbol{\beta}}_{\rm uni}=(\beta_{0\ell},\ldots,\beta_{0m})$.
• Denn aus dem folgenden Theorem 2.11 ergibt sich, dass unter der in (52) formulierten Nullhypothese $H_0$

  $$T_{\rm uni}\sim {\rm F}_{m-\ell+1,n-m} .$$ (54)

  
  

• Die Hypothese $H_0:\beta_{\ell}=\beta_{0,\ell},\ldots,\beta_m=\beta_{0m}$ wird somit abgelehnt, wenn

  $$T_{\rm uni} > {\rm F}_{m-\ell+1,n-m,1-\alpha} .$$ (55)

  
  

Wir diskutieren nun noch einen allgemeinen Test für Linearformen des Parametervektors ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)$.

• Sei $r\in\{1,\ldots,m\}$, sei ${\mathbf{H}}$ eine $r\times m$ Matrix mit vollem Rang ${ {\rm rg}}({\mathbf{H}})=r$, und sei ${\mathbf{c}}\in\mathbb{R}^r$.
• Getestet werden soll die Hypothese

  $$H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{c}} \qquad H_1: {\mathbf{H}}{\boldsymbol{\beta}}\not={\mathbf{c}} ,$$ (56)

  
  
  wobei die folgende Testgröße $T_{{\mathbf{H}}}$ betrachtet wird:

  $$T_{{\mathbf{H}}}=\frac{\bigl({\mathbf{H}}\widehat{\boldsymbol{\be... ...} \bigl({\mathbf{H}}\widehat{\boldsymbol{\beta}}-{\mathbf{c}}\bigr) }{r S^2}\;.$$ (57)

  
  

Theorem 2.11   $\;$ Unter $H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{c}}$ gilt

$$T_{{\mathbf{H}}}\sim {\rm F}_{r,n-m} ,$$ (58)

d.h., die in $(\ref{tes.lin.tes})$ gegebene Testgröße $T_{{\mathbf{H}}}$ ist F-verteilt mit $(r,n-m)$ Freiheitsgraden.

Beweis

 

• Weil die Designmatrix ${\mathbf{X}}$ vollen Rang hat, ist die symmetrische Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ positiv definit.
  • Gemäß Lemma 1.8 sind damit auch die Matrizen $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ bzw. ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top$ positiv definit,
  • d.h. insbesondere, dass die Matrix ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top$ vollen Rang besitzt und deshalb invertierbar ist.
• Die in (57) betrachtete quadratische Form ${\mathbf{Z}}^\top ({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top)^{-1} {\mathbf{Z}}$ ist somit wohldefiniert, wobei
  $${\mathbf{Z}}={\mathbf{H}}\widehat{\boldsymbol{\beta}}-{\mathbf{c}}$$   mit $\; \widehat{\boldsymbol{\beta}}\sim {\rm N}\bigl({\boldsymbol{\beta}}, \sigma^2({\mathbf{X}}^\top{\mathbf{X}})^{-1}\bigr)$$$.$$

• Aus Theorem 1.3 ergibt sich, dass unter $H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{c}}$
  $${\mathbf{Z}}\sim {\rm N}\bigl({\mathbf{o}},\sigma^2{\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top\bigr) .$$

• Außerdem ist die $r\times r$ Matrix ${\mathbf{A}} =\bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top\bigr)^{-1}$ symmetrisch, denn es gilt
  

  $${\mathbf{A}}^\top = \bigl(\bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mat... ...igl(({\mathbf{X}}^\top{\mathbf{X}})^{-1}\bigr)^\top{\mathbf{H}}^\top\bigr)^{-1}$$

  $$= \bigl({\mathbf{H}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^\top\bigr... ...{\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{H}}^\top\bigr)^{-1}={\mathbf{A}} .$$

  
  

• Weil die Matrix $\bigl(\sigma^{-2}{\mathbf{A}}\bigr)\bigl(\sigma^2{\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^{-1} {\mathbf{H}}^\top\bigr)={\mathbf{I}}$ offenbar idempotent ist, ergibt sich aus Theorem 1.9, dass $\sigma^{-2}{\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}$ eine $\chi^2_r$-verteilte Zufallsvariable ist.
• Der Rest des Beweises verläuft genauso wie der Beweis von Theorem 2.10.
  
  $\Box$

Beachte

$\;$ Die Nullhypothese $H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{c}}$ wird abgelehnt, wenn $T_{\mathbf{H}}> {\rm F}_{r,n-m,1-\alpha}$, wobei $T_{\mathbf{H}}$ die in $(\ref{tes.lin.tes})$ gegebene Testgröße ist.