Tests linearer Hypothesen

In diesem Abschnitt diskutieren wir eine verallgemeinerte Version des Tests für Linearformen des Parametervektors ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)$, den wir in Abschnitt 3.3.5 für den Fall von Designmatrizen ${\mathbf{X}}$ mit vollem Spaltenrang betrachtet hatten, vgl. Theorem 3.19. Jetzt nehmen wir dagegen an, daß ${\,{\rm rg}}({\mathbf{X}})=r<m$.

• Sei $s\in\{1,\ldots,m\}$, sei ${\mathbf{H}}$ eine $s\times m$ Matrix mit vollem Rang ${\,{\rm rg}}({\mathbf{H}})=s$, und sei ${\mathbf{d}}\in\mathbb{R}^s$.
• Getestet werden soll die Hypothese

  $$H_0: {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}} \qquad H_1: {\mathbf{H}}{\boldsymbol{\beta}}\not={\mathbf{d}}\,,$$ (62)

  
  
  wobei angenommen wird, daß die Eintragungen der Matrix ${\mathbf{H}}=({\mathbf{h}}_1,\ldots,{\mathbf{h}}_s)^\top$ und die Komponenten des Vektors ${\mathbf{d}}=(d_1,\ldots,d_s)^\top$ bekannt sind.
• Zur Verifizierung der in (62) betrachteten Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ wird (ähnlich wie in Abschnitt 3.3.5, vgl. Theorem 3.19) eine Testgröße konstruiert, deren Verteilung nicht von dem unbekannten Parametervektor $({\boldsymbol{\beta}},\sigma^2)$ abhängt.
• Dabei wird der folgende Begriff eingeführt und vorausgesetzt, daß die Komponenten des Vektors ${\mathbf{H}}{\boldsymbol{\beta}}$ erwartungstreu schätzbar sind.

Definition

$\;$ Die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ heißt testbar, falls sämtliche Komponenten ${\mathbf{h}}_1^\top{\boldsymbol{\beta}},\ldots,{\mathbf{h}}_s^\top{\boldsymbol{\beta}}$ des Vektors ${\mathbf{H}}{\boldsymbol{\beta}}$ schätzbare Funktionen des Parametervektors ${\boldsymbol {\beta }}$ sind.

Beachte

$\;$ Aus Theorem 4.6 folgt, daß die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ genau dann testbar ist, wenn

• es eine $s\times n$ Matrix ${\mathbf{C}}$ gibt, so daß

  $${\mathbf{H}}={\mathbf{C}}{\mathbf{X}}\,,$$ (63)

  
  

bzw.

• die Matrix ${\mathbf{H}}$ der folgenden Gleichung genügt:

  $${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{H}}\,.$$ (64)

  
  

Bei der Konstruktion einer Testgröße zur Verifizierung der in (62) betrachteten Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ ist der folgende Hilfssatz nützlich.

Lemma 4.8    

• Sei $s\le m$, sei ${\mathbf{H}}$ eine $s\times m$ Matrix mit vollem Rang ${\,{\rm rg}}({\mathbf{H}})=s$, die der Gleichung $(\ref{dar.tes.hyp})$ bzw. $(\ref{dar.tes.alt})$ genügt, und sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$.
• Dann ist die $s\times s$ Matrix ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top$ positiv definit (und damit regulär).

Beweis

 

• Analog zu Lemma 4.1 kann man zeigen, daß die symmetrische $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ mit ${\,{\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})=r<m$ dargestellt werden kann in der Form:
  $${\mathbf{X}}^\top{\mathbf{X}}={\mathbf{P}}^{-1}\left(\begin{array... ...hbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{P}}^{-1}\,,$$
  wobei ${\mathbf{P}}$ eine reguläre und symmetrische $m\times m$ Matrix ist.
• Im Beweis von Lemma 4.2 hatten wir gezeigt, daß dann durch
  $${\mathbf{P}}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\\ {... ...} & {\mathbf{I}}_{m-r} \end{array}\right){\mathbf{P}}={\mathbf{P}}{\mathbf{P}}$$
  eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ gegeben ist, die offenbar positiv definit ist.
• Aus Lemma 3.15 folgt nun, daß auch die Matrix ${\mathbf{H}}{\mathbf{P}}{\mathbf{P}}{\mathbf{H}}^\top$ positiv definit ist.
• Hieraus folgt, daß ${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top$ auch für jede beliebige verallgemeinerte Inverse $({\mathbf{X}}^\top{\mathbf{X}})^-$ von ${\mathbf{X}}^\top{\mathbf{X}}$ positiv definit ist, denn aus (63) ergibt sich, daß
  $${\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top= ... ...op{\mathbf{C}}^\top={\mathbf{H}} {\mathbf{P}}{\mathbf{P}}{\mathbf{H}}^\top\,,$$
  wobei sich die zweite Gleichheit aus Lemma 4.6 ergibt.
  
  $\Box$

Beachte

 

• Aus Lemma 4.8 ergibt sich, daß die Testgröße $T_{{\mathbf{H}}}$ mit

  $$T_{{\mathbf{H}}}=\frac{\bigl({\mathbf{H}}\overline{\boldsymbol{\b... ...{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{s S^2}$$ (65)

  
  
  wohldefiniert ist, wobei $\overline{\boldsymbol{\beta}}$ und $S^2$ die in $(\ref{los.sig.sig})$ bzw. $(\ref{def.ess.qua})$ gegebenen Schätzer für ${\boldsymbol {\beta }}$ bzw. $\sigma ^2$ sind.
• Diese Testgröße ist eine Verallgemeinerung der entsprechenden Testgröße $T_{{\mathbf{H}}}$, die in Abschnitt 3.3.5 für Designmatrizen mit vollem Rang betrachtet wurde. Die Verteilung der in (65) gegebenen Testgröße $T_{{\mathbf{H}}}$ läßt sich wie folgt bestimmen.

Theorem 4.13   $\;$ Unter $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ gilt $T_{{\mathbf{H}}}\sim\, {\rm F}_{s,n-r}$, d.h., die in $(\ref{tes.lin.tes.gro})$ gegebene Testgröße $T_{{\mathbf{H}}}$ ist F-verteilt mit $(s,n-r)$ Freiheitsgraden.

Beweis

 

• Aus $(\ref{los.sig.sig})$ ergibt sich, daß
  $${\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}={\mathbf{H... ...-{\mathbf{d}} = {\boldsymbol{\mu}}+{\mathbf{B}}{\boldsymbol{\varepsilon }}\,,$$
  wobei
  $${\boldsymbol{\mu}}={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{... ...beta}}-{\mathbf{d}}={\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}={\mathbf{o}}$$
  und ${\mathbf{B}}={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ bzw. ${\boldsymbol{\varepsilon }}\sim\,{\rm N}({\mathbf{o}},\,\sigma^2{\mathbf{I}}_n)$.
• Für den Zähler $Z=\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)^\top \bi... ...\bigr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$ der in (65) gegebenen Testgröße $T_{{\mathbf{H}}}$ gilt somit
  

  $$Z = {\boldsymbol{\varepsilon }}^\top{\mathbf{B}}^\top\bigl({\mathbf{H... ...thbf{X}})^- {\mathbf{H}}^\top\bigr)^{-1}{\mathbf{B}}{\boldsymbol{\varepsilon }}$$

  $$= {\boldsymbol{\varepsilon }}^\top \bigl({\mathbf{H}}({\mathbf{X}}^... ...}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\boldsymbol{\varepsilon }}$$

  $$= {\boldsymbol{\varepsilon }}^\top {\mathbf{X}}({\mathbf{X}}^\top{\... ...{\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\boldsymbol{\varepsilon }}\,.$$

  
  

• Die Matrix ${\mathbf{A}}={\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \... ...\top\bigr)^{-1} {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ ist idempotent, denn wegen (64) gilt
  

  $${\mathbf{A}}^2 = {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top\bigr)^{-1}$$

  $$\times\;\; \underbrace{{\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}}... ...^\top\bigr)^{-1} {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$$

  $$= {\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top \b... ... {\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top={\mathbf{A}}\,.$$

  
  

• Weil ${\mathbf{A}}$ auch symmetrisch ist mit ${\,{\rm rg}}({\mathbf{A}})=s$, ergibt sich aus Theorem 3.15, daß die quadratische Form $Z/\sigma^2$ eine $\chi ^2$-Verteilung mit $s$ Freiheitsgraden hat.
• In Theorem 4.12 wurde außerdem gezeigt, daß $(n-r)S^2/\sigma^2\sim\chi^2_{n-r}$ und daß die Zufallsvariablen $\overline{\boldsymbol{\beta}}$ und $S^2$ unabhängig sind.
• Damit sind auch die Zufallsvariablen $Z$ und $S^2$ unabhängig, und es gilt
  $$T_{{\mathbf{H}}}=\frac{Z/s\sigma^2}{S^2/\sigma^2}\sim\, {\rm F}_{s,n-r}\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Die Wahl der Testgröße $T_{\mathbf{H}}$ in (65) kann wie folgt motiviert werden: Ähnlich wie im Beweis von Theorem 4.13 ergibt sich aus Theorem 3.15, daß die quadratische Form $Z/\sigma^2$ mit
  $$Z=\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bi... ...igr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$$
  im allgemeinen (d.h., ohne die Gültigkeit von $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ vorauszusetzen) eine nichtzentrale $\chi ^2$-Verteilung $\chi^2_{s,\lambda}$ hat mit
  $$\lambda=\frac{\bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}... ...{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{\sigma^2}\,.$$

• Hieraus folgt, daß
  $${\mathbb{E}\,}\bigl(Z/\sigma^2\bigr)= \frac{d}{dt}\;{\mathbb{E}\,}\exp\bigl(tZ/\sigma^2\bigr)\Bigl\vert _{\;t=0}\;=s+\lambda\,,$$
  wobei sich die letzte Gleichheit aus der Formel für die momenterzeugende Funktion der $\chi^2_{s,\lambda}$-Verteilung ergibt, die im Beweis von Theorem 3.14 hergeleitet wurde.
• Mit anderen Worten: Es gilt

  $${\mathbb{E}\,}\bigl(Z/s\bigr)=\sigma^2+\frac{\bigl({\mathbf{H}}{\... ...top\bigr)^{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)}{s}\,,$$ (66)

  
  
  und aus Theorem 4.10 ergibt sich, daß ${\mathbb{E}\,}(S^2)=\sigma^2$.
• Unter der Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ sind somit die Erwartungswerte von Zähler und Nenner der Testgröße $T_{\mathbf{H}}$ gleich.
• Andererseits ergibt sich aus Lemma 4.8, daß $\bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)^\top \bigl({\mathbf... ...}}^\top\bigr)^{-1} \bigl({\mathbf{H}}{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)>0$, falls die Hypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ falsch ist. Aus (66) folgt dann in diesem Fall, daß

  $${\mathbb{E}\,}\bigl(Z/s\bigr)>\sigma^2={\mathbb{E}\,}(S^2)\,.$$ (67)

  
  

• Allgemein gilt (wegen der Unabhängigkeit von $Z$ und $S^2$), daß
  $${\mathbb{E}\,}T_{\mathbf{H}}= {\mathbb{E}\,}\bigl(Z/s\bigr) {\mathbb{E}\,}(1/S^2)\,,$$
  und aus der Jensen-Ungleichung folgt, daß ${\mathbb{E}\,}(1/S^2)>1/{\mathbb{E}\,}(S^2)$.
• Aus (67) ergibt sich somit, daß
  $${\mathbb{E}\,}T_{\mathbf{H}}>\frac{{\mathbb{E}\,}\bigl(Z/s\bigr)}{ {\mathbb{E}\,}(S^2)}> 1\,,$$
  falls $H_0$ falsch ist.
• Es liegt deshalb nahe, die Nullhypothese $H_0 : {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}$ abzulehnen, falls die Testgröße $T_{\mathbf{H}}$ Werte annimmt, die signifikant größer als $1$ sind.
• Wegen der in Theorem 4.13 hergeleiteten Verteilungseigenschaft der Testgröße $T_{\mathbf{H}}$ wird somit $H_0$ abgelehnt, falls $T_{\mathbf{H}} >\, {\rm F}_{s,n-r,\gamma}$.

Wir leiten nun eine alternative Darstellung der in (65) gegebenen Testgröße $T_{\mathbf{H}}$ her, die in manchen Fällen besser geeignet ist. Dabei betrachten wir die folgenden beiden Summen von quadratischen Abweichungen $SSE$ bzw. $SSE_E$ (Sums of Squared Errors) mit

$$SSE=({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top... ...dsymbol{\beta}}= ({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$ (68)

und

$$SSE_H=({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)^... ...igr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)\,.$$ (69)

Theorem 4.14   $\;$ Für die in $(\ref{tes.lin.tes.gro})$ gegebene Testgröße $T_{\mathbf{H}}$ gilt

$$T_{\mathbf{H}}=\frac{(SSE_H-SSE)/s}{SSE/(n-r)}\;.$$ (70)

Beweis

 

• Es gilt
  

  $$SSE_H = ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}_H)$$

  $$= \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}+ {\m... ...mathbf{X}}(\overline{\boldsymbol{\beta}}-\overline{\boldsymbol{\beta}}_H)\bigr)$$

  $$= ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top({\m... ...p{\mathbf{X}}(\overline{\boldsymbol{\beta}}-\overline{\boldsymbol{\beta}}_H)\,,$$

  
  
  weil sich aus den Teilaussagen 1 und 2 von Lemma 4.7 ergibt, daß
  $${\mathbf{X}}^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{... ...brace{{\mathbf{X}}^\top{\mathbf{G}}}_{=\,{\bf0}} {\mathbf{Y}}={\mathbf{o}}\,.$$

• Aus (63), d.h. ${\mathbf{H}}={\mathbf{C}}{\mathbf{X}}$, und aus Lemma 4.6 ergibt sich somit, daß
  

  $$SSE_H = ({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}})$$

  $$+\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\big... ...hbf{H}}^\top}_{={\mathbf{H}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{H}}^\top}$$

  $$\hspace{5cm} \times \bigl({\mathbf{H}}({\mathbf{X}}^\top{\mathbf{... ...p\bigr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)$$

  $$= SSE +\bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}... ...igr)^{-1} \bigl({\mathbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Aus der Definitionsgleichung (69) von $\overline{\boldsymbol{\beta}}_H$ ergibt sich, daß
  $${\mathbf{H}}\overline{\boldsymbol{\beta}}_H={\mathbf{H}}\Bigl(\ov... ...hbf{H}}\overline{\boldsymbol{\beta}}-{\mathbf{d}}\bigr)\Bigr)={\mathbf{d}}\,,$$
  d.h., der in (69) gegebene Zufallsvektor $\overline{\boldsymbol{\beta}}_H$ nimmt nur Werte in dem eingeschränkten Parameterraum $\Theta_H=\bigl\{{\boldsymbol{\beta}}\in\mathbb{R}^m:\, {\mathbf{H}}{\boldsymbol{\beta}}={\mathbf{d}}\bigr\}$ an.
• Außerdem kann man zeigen (vgl. Übungsaufgabe 12.1), daß $\overline{\boldsymbol{\beta}}_H$ den mittleren quadratischen Fehler $e({\boldsymbol{\beta}})$ für alle ${\boldsymbol{\beta}}\in\Theta_H$ minimiert, wobei
  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1 x_{i1}+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2\,.$$