Tests linearer Hypothesen

In diesem Abschnitt diskutieren wir eine verallgemeinerte Version des Tests für Linearformen von ${\boldsymbol {\beta }}$, den wir in Abschnitt 2.2.3 für den Fall von Designmatrizen ${\mathbf{X}}$ mit vollem Spaltenrang betrachtet hatten, vgl. Theorem 2.11. Jetzt nehmen wir dagegen an, dass ${ {\rm rg}}({\mathbf{X}})=r<m$.

• Sei $s\in\{1,\ldots,m\}$, sei ${\mathbf{H}}$ eine $s\times m$ Matrix mit vollem Rang ${ {\rm rg}}({\mathbf{H}})=s$, und sei ${\mathbf{d}}\in\mathbb{R}^s$.
• Getestet werden soll die Hypothese

  $$H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}} \qquad H_1: {\mathbf{H}}{\boldsymbol{\beta}}\not={\mathbf{d}} ,$$ (68)

  
  
  wobei angenommen wird, dass die Eintragungen der Matrix ${\mathbf{H}}=({\mathbf{h}}_1,\ldots,{\mathbf{h}}_s)^\top$ und die Komponenten des Vektors ${\mathbf{d}}=(d_1,\ldots,d_s)^\top$ bekannt sind.
• Zur Verifizierung der in (68) betrachteten Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ wird (ähnlich wie in Theorem 2.11) eine Testgröße konstruiert, deren Verteilung nicht von dem unbekannten Parametervektor $({\boldsymbol{\beta}},\sigma^2)$ abhängt.
• Hierfür wird der folgende Begriff eingeführt, wobei vorausgesetzt wird , dass die Komponenten des Vektors ${\mathbf{H}}{\boldsymbol{\beta}}$ erwartungstreu schätzbar sind.

Definition

$\;$ Die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ heißt testbar, wenn sämtliche Komponenten ${\mathbf{h}}_1^\top{\boldsymbol{\beta}},\ldots,{\mathbf{h}}_s^\top{\boldsymbol{\beta}}$ des Vektors ${\mathbf{H}}{\boldsymbol{\beta}}$ schätzbare Funktionen des Parametervektors ${\boldsymbol {\beta }}$ sind.

Beachte

$\;$ Aus Theorem 3.9 folgt, dass die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ genau dann testbar ist, wenn

• es eine $s\times n$ Matrix ${\mathbf{C}}$ gibt, so dass

  $${\mathbf{H}}={\mathbf{C}}{\mathbf{X}} ,$$ (69)

  
  

bzw.

• die Matrix ${\mathbf{H}}$ der folgenden Gleichung genügt:

  $${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{H}} .$$ (70)

  
  

Bei der Konstruktion einer Testgröße zur Verifizierung der in (68) betrachteten Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ ist der folgende Hilfssatz nützlich.

Lemma 3.9    

• Sei $s\le m$, sei ${\mathbf{H}}$ eine $s\times m$ Matrix mit vollem Rang ${ {\rm rg}}({\mathbf{H}})=s$, die der Gleichung $(\ref{dar.tes.hyp})$ bzw. $(\ref{dar.tes.alt})$ genügt, und sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$.
• Dann ist die $s\times s$ Matrix ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top$ positiv definit (und damit invertierbar).

Beweis

 

• Man kann zeigen, dass die symmetrische $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ mit ${ {\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})=r<m$ dargestellt werden kann in der Form:
  $${\mathbf{X}}^\top{\mathbf{X}}={\mathbf{P}}^{-1}\left(\begin{array... ...thbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{P}}^{-1} ,$$
  wobei die $m\times m$ Matrix ${\mathbf{P}}$ invertierbar und symmetrisch ist; vgl. auch die Aussage von Lemma 3.3.
• Im Beweis von Lemma 3.4 hatten wir gezeigt, dass dann durch
  $${\mathbf{P}}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\\ {... ...} & {\mathbf{I}}_{m-r} \end{array}\right){\mathbf{P}}={\mathbf{P}}{\mathbf{P}}$$
  eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ gegeben ist, die offenbar positiv definit ist.
• Aus Lemma 1.8 folgt nun, dass auch die Matrix ${\mathbf{H}}{\mathbf{P}}{\mathbf{P}}{\mathbf{H}}^\top$ positiv definit ist.
• Hieraus folgt, dass ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top$ auch für jede beliebige verallgemeinerte Inverse $({\mathbf{X}}^\top{\mathbf{X}})^-$ von ${\mathbf{X}}^\top{\mathbf{X}}$ positiv definit ist, denn aus (69) ergibt sich, dass
  $${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top= {... ...top{\mathbf{C}}^\top={\mathbf{H}} {\mathbf{P}}{\mathbf{P}}{\mathbf{H}}^\top ,$$
  wobei sich die zweite Gleichheit aus Lemma 3.7 ergibt.
  
  $\Box$

Beachte

 

• Aus Lemma 3.9 ergibt sich, dass die Testgröße $T_{{\mathbf{H}}}$ mit

  $$T_{{\mathbf{H}}}=\frac{\bigl({\mathbf{H}}\overline{\boldsymbol{\b... ...{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{s S^2}$$ (71)

  
  
  wohldefiniert ist, wobei $\overline {\boldsymbol {\beta }}$ und $S^2$ die in $(\ref{los.sig.sig})$ bzw. $(\ref{def.ess.qua})$ gegebenen Schätzer für ${\boldsymbol {\beta }}$ bzw. $\sigma ^2$ sind.
• Diese Testgröße ist eine Verallgemeinerung der entsprechenden Testgröße $T_{{\mathbf{H}}}$, die in Abschnitt 2.2.3 für Designmatrizen mit vollem Rang betrachtet wurde. Die Verteilung der in (71) gegebenen Testgröße $T_{{\mathbf{H}}}$ lässt sich wie folgt bestimmen.

Theorem 3.15   $\;$ Die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ sei testbar. Unter $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ gilt dann $T_{{\mathbf{H}}}\sim {\rm F}_{s,n-r}$, d.h., die in $(\ref{tes.lin.tes.gro})$ gegebene Testgröße $T_{{\mathbf{H}}}$ ist F-verteilt mit $(s,n-r)$ Freiheitsgraden.

Beweis

 

• Aus der Definitionsgleichung $(\ref{los.sig.sig})$ von $\overline {\boldsymbol {\beta }}$ ergibt sich, dass
  $${\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}={\mathbf{H... ...)-{\mathbf{d}} = {\boldsymbol{\mu}}+{\mathbf{B}}{\boldsymbol{\varepsilon }} ,$$
  wobei
  $${\boldsymbol{\mu}}={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{... ...beta}}-{\mathbf{d}}={\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}={\mathbf{o}}$$
  und ${\mathbf{B}}={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ bzw. ${\boldsymbol{\varepsilon }}\sim {\rm N}({\mathbf{o}}, \sigma^2{\mathbf{I}}_n)$.
• Für den Zähler $Z=\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)^\top \big... ...p\bigr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$ der in (71) gegebenen Testgröße $T_{{\mathbf{H}}}$ gilt somit
  

  $$Z = {\boldsymbol{\varepsilon }}^\top{\mathbf{B}}^\top\bigl({\mathbf{H... ...thbf{X}})^- {\mathbf{H}}^\top\bigr)^{-1}{\mathbf{B}}{\boldsymbol{\varepsilon }}$$

  $$= {\boldsymbol{\varepsilon }}^\top \bigl({\mathbf{H}}({\mathbf{X}}^... ...}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\boldsymbol{\varepsilon }}$$

  $$= {\boldsymbol{\varepsilon }}^\top {\mathbf{A}}{\boldsymbol{\varepsilon }} ,$$

  
  
  • wobei die Matrix ${\mathbf{A}}={\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \b... ...^\top\bigr)^{-1} {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ idempotent ist, denn wegen (70) gilt
    

    $${\mathbf{A}}^2 = {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top\bigr)^{-1}$$

    $$\times\;\; \underbrace{{\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}}... ...^\top\bigr)^{-1} {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$$

    $$= {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \b... ... {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{A}} .$$

    
    

  • Weil ${\mathbf{A}}$ auch symmetrisch ist mit ${ {\rm rg}}({\mathbf{A}})=s$, ergibt sich aus Theorem 1.9, dass die quadratische Form $Z/\sigma^2$ eine $\chi ^2$-Verteilung mit $s$ Freiheitsgraden hat.
• In Theorem 3.14 wurde außerdem gezeigt, dass $(n-r)S^2/\sigma^2\sim\chi^2_{n-r}$ und dass die Zufallsvariablen $\overline {\boldsymbol {\beta }}$ und $S^2$ unabhängig sind.
• Damit sind auch die Zufallsvariablen $Z$ und $S^2$ unabhängig, und es gilt
  $$T_{{\mathbf{H}}}=\frac{Z/s\sigma^2}{S^2/\sigma^2}\sim {\rm F}_{s,n-r} .$$
  
   
    $\Box$
  
  
  

Beachte

 

• Die Wahl der Testgröße $T_{\mathbf{H}}$ in (71) kann wie folgt motiviert werden: Ähnlich wie im Beweis von Theorem 3.15 ergibt sich aus Theorem 1.9, dass die quadratische Form $Z/\sigma^2$ mit
  $$Z=\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bi... ...\bigr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$$
  im allgemeinen (d.h., ohne die Gültigkeit von $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ vorauszusetzen) eine nichtzentrale $\chi ^2$-Verteilung $\chi^2_{s,\lambda}$ hat mit
  $$\lambda=\frac{\bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}... ...)^{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{\sigma^2} .$$

• Hieraus folgt, dass
  $${\mathbb{E} }\Bigl(\frac{Z}{\sigma^2}\Bigr)= \frac{d}{dt}\;{\mathbb{E} }\exp\Bigl(\frac{tZ}{\sigma^2}\Bigr)\Bigl\vert _{\;t=0}\;=s+\lambda ,$$
  wobei sich die letzte Gleichheit aus der Formel für die momenterzeugende Funktion der $\chi^2_{s,\lambda}$-Verteilung ergibt, die im Beweis von Theorem 1.8 hergeleitet wurde.
  • Mit anderen Worten: Es gilt

    $${\mathbb{E} }\Bigl(\frac{Z}{s}\Bigr)=\sigma^2+\frac{\bigl({\math... ...top\bigr)^{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{s} ,$$ (72)

    
    
    und aus Theorem 3.13 ergibt sich, dass ${\mathbb{E} }(S^2)=\sigma^2$.
  • Unter der Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ sind somit die Erwartungswerte von Zähler und Nenner der Testgröße $T_{\mathbf{H}}$ gleich.
• Andererseits ergibt sich aus Lemma 1.8 und Lemma 3.9, dass die inverse Matrix $\bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top\bigr)^{-1}$ positiv definit ist und dass somit
  $$\bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)^\top \b... ...\top\bigr)^{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)>0 ,$$
  wenn die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ falsch ist. Aus (72) folgt dann in diesem Fall, dass

  $${\mathbb{E} }\Bigl(\frac{Z}{s}\Bigr)>\sigma^2={\mathbb{E} }(S^2) .$$ (73)

  
  

• Allgemein gilt (wegen der Unabhängigkeit von $Z$ und $S^2$), dass ${\mathbb{E} }T_{\mathbf{H}}= {\mathbb{E} }\bigl(Z/s\bigr) {\mathbb{E} }(1/S^2)$, und aus der Jensen-Ungleichung folgt, dass ${\mathbb{E} }(1/S^2)>1/{\mathbb{E} }(S^2)$.
• Aus (73) ergibt sich somit, dass
  $${\mathbb{E} }T_{\mathbf{H}}>\frac{\displaystyle{\mathbb{E} }\Bigl(\frac{Z}{s}\Bigr)}{ {\mathbb{E} }(S^2)}> 1 ,$$
  wenn $H_0$ falsch ist.
• Es liegt deshalb nahe, die Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ abzulehnen, wenn die Testgröße $T_{\mathbf{H}}$ Werte annimmt, die signifikant größer als $1$ sind.
• Wegen der in Theorem 3.15 hergeleiteten Verteilungseigenschaft der Testgröße $T_{\mathbf{H}}$ wird somit $H_0$ abgelehnt, wenn $T_{\mathbf{H}} > {\rm F}_{s,n-r,1-\alpha}$.

In manchen Fällen ist es zweckmäßiger, eine alternative Darstellung der in (71) gegebenen Testgröße $T_{\mathbf{H}}$ zu betrachten. Hierfür definieren wir die folgenden beiden Summen von quadratischen Abweichungen $SSE$ bzw. $SSE_H$ (Sums of Squared Errors) mit

$$SSE=({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top... ...dsymbol{\beta}}= ({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$ (74)

und

$$SSE_H=({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)^... ...igr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr) .$$ (75)

Theorem 3.16   $\;$ Für die in $(\ref{tes.lin.tes.gro})$ gegebene Testgröße $T_{\mathbf{H}}$ gilt

$$T_{\mathbf{H}}=\frac{(SSE_H-SSE)/s}{SSE/(n-r)}\;.$$ (76)

Beweis

 

• Es gilt
  

  $$SSE_H = ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)$$

  $$= \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}+ {\m... ...mathbf{X}}(\overline{\boldsymbol{\beta}}-\overline{\boldsymbol{\beta}}_H)\bigr)$$

  $$= ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top({\m... ...p{\mathbf{X}}(\overline{\boldsymbol{\beta}}-\overline{\boldsymbol{\beta}}_H) ,$$

  
  
  weil sich aus den Teilaussagen 1 und 2 von Lemma 3.8 ergibt, dass
  $${\mathbf{X}}^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{... ...rbrace{{\mathbf{X}}^\top{\mathbf{G}}}_{= {\bf0}} {\mathbf{Y}}={\mathbf{o}} .$$

• Aus (69), d.h. ${\mathbf{H}}={\mathbf{C}}{\mathbf{X}}$, und aus Lemma 3.7 ergibt sich somit, dass
  

  $$SSE_H = ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})$$

  $$+\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\big... ...hbf{H}}^\top}_{={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top}$$

  $$\hspace{5cm} \times \bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{... ...p\bigr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$$

  $$= SSE +\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}... ...igr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr) .$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Aus der Definitionsgleichung (75) von $\overline{\boldsymbol{\beta}}_H$ ergibt sich, dass
  $${\mathbf{H}}\overline{\boldsymbol{\beta}}_H={\mathbf{H}}\Bigl(\ov... ...thbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)\Bigr)={\mathbf{d}} ,$$
  d.h., der in (75) gegebene Zufallsvektor $\overline{\boldsymbol{\beta}}_H$ nimmt nur Werte in dem eingeschränkten Parameterraum $\Theta_H=\bigl\{{\boldsymbol{\beta}}\in\mathbb{R}^m:\, {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}\bigr\}$ an.
• Außerdem kann man leicht zeigen, dass $\overline{\boldsymbol{\beta}}_H$ den mittleren quadratischen Fehler $e({\boldsymbol{\beta}})$ für alle ${\boldsymbol{\beta}}\in\Theta_H$ minimiert, wobei
  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1 x_{i1}+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2 .$$