F-Test der ANOVA-Nullhypothese; Quadratsummenzerlegung

• In Theorem 2.10 hatten wir gezeigt, daß
  • die klassische ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ äquivalent ist
  • mit der Hypothese $H_0:\sum_{i=1}^k a_i\theta_i=0$ für jedes ${\mathbf{a}}\in\mathcal{A}$, wobei
    $$\mathcal{A}=\Bigl\{{\mathbf{a}}=(a_1,\ldots,a_k):\,{\mathbf{a}}\not={\bf o},\, \sum\limits_{i=1}^k a_i=0\Bigr\}\,.$$

• Mit anderen Worten: Die klassische ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ ist äquivalent mit der Hypothese $H_0: {\boldsymbol{\theta}}\in\bigcap\limits_{{\mathbf{a}}\in\mathcal{A}}\Theta_{\mathbf{a}}$, wobei ${\boldsymbol{\theta}}=(\theta_1,\ldots,\theta_k)$ und
  $$\Theta_{\mathbf{a}}=\Bigl\{{\boldsym... ...\ldots,\theta_k^\prime):\,\sum\limits_{i=1}^k a_i\theta_i^\prime=0\Bigr\}\,.$$

• Für jedes ${\mathbf{a}}\in\mathcal{A}$ hatten wir in Abschnitt 2.2.3 einen Test der Hypothese $H_{0,{\mathbf{a}}}: {\boldsymbol{\theta}}\in\Theta_{\mathbf{a}}$ zum Niveau $1-\gamma\in(0,1)$ (gegen die Alternative $H_{1,{\mathbf{a}}}:{\boldsymbol{\theta}}\not\in\Theta_{\mathbf{a}}$) konstruiert.
• Dabei wurde die Nullhypothese $H_{0,{\mathbf{a}}}: {\boldsymbol{\theta}}\in\Theta_{\mathbf{a}}$ abgelehnt, falls die Testgröße

  $$T_{\mathbf{a}}=\Biggl\vert\frac{\sum\limits_{i=1}^k a_i\overline ... ...} }{\sqrt{S^2_p\,\displaystyle\sum\limits_{i=1}^k\frac{a_i^2}{n_i}}}\Biggr\vert$$ (65)

  
  
  einen gewissen Schwellenwert $c_\gamma$ überschreitet, der nur von $\gamma$ (jedoch nicht von ${\mathbf{a}}$) abhängt.
• Dies führt zu folgendem Ansatz, um die klassische ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$, d.h. die Hypothese $H_0: {\boldsymbol{\theta}}\in\bigcap\limits_{{\mathbf{a}}\in\mathcal{A}}\Theta_{\mathbf{a}}$ (gegen die Alternative $H_1: {\boldsymbol{\theta}}\not\in\bigcap\limits_{{\mathbf{a}}\in\mathcal{A}}\Theta_{\mathbf{a}}$) zu testen: Weil
  • $H_0$ genau dann abgelehnt wird, wenn die Hypothese $H_{0,{\mathbf{a}}}:{\boldsymbol{\theta}}\in\Theta_{\mathbf{a}}$ für ein ${\mathbf{a}}\in\mathcal{A}$ abgelehnt wird und
  • weil somit der Ablehnungsbereich von $H_0$ die Vereinigung der Ablehnungsbereiche der Hypothesen $H_{0,{\mathbf{a}}}$ ist,
  • ist es naheliegend, die Hypothese $H_0$ genau dann abzulehnen, wenn

    $$\sup\limits_{{\mathbf{a}}\in\mathcal{A}}\, T_{\mathbf{a}}^2 > c_\gamma^2\,,$$ (66)

    
    
    wobei der Schwellenwert $c_\gamma^2$ so gewählt wird, daß die Wahrscheinlichkeit des in (66) betrachteten Ereignisses unter $H_0$ nicht größer als $1-\gamma$ ist.

Wir bestimmen nun die Verteilung der in (66) betrachteten Testgröße $\sup_{{\mathbf{a}}\in\mathcal{A}}\, T_{\mathbf{a}}^2$. Hierfür ist der folgende Hilfssatz nützlich.

Lemma 2.6   $\;$ Seien $y_1,\ldots,y_k\in\mathbb{R}$ beliebige reelle Zahlen und $n_1,\ldots,n_k>0$ beliebige natürliche Zahlen. Dann gilt

$$\sup\limits_{{\mathbf{a}}\in\mathcal{A}}\;\frac{\Bigl(\sum\limits... ...iggl(y_i-\frac{\sum\limits_{j=1}^k n_jy_j}{\sum\limits_{j=1}^k n_j}\Biggr)^2\,,$$ (67)

wobei das Supremum in jedem Punkt ${\mathbf{a}}\in\mathcal{A}$ der Form

$$a_i= c n_i\Biggl(y_i-\frac{\sum\limits_{j=1}^k n_j y_j}{\sum\limits_{j=1}^k n_j}\Biggr)$$ (68)

angenommen wird, und zwar für jedes $c\not=0$.

Beweis

 

• Falls $y_1=\ldots=y_k$, dann ist das Supremum in (67) stets gleich 0, und die Behauptung ist offenbar richtig.
• Seien nun nicht alle $y_1,\ldots,y_k$ gleich.
• Die Behauptung läßt sich dann mit dem gleichen Argument beweisen, mit dem das Maximierungsproblem im Beweis von Theorem 2.3 gelöst wurde.
• Und zwar sei $n=\sum_{i=1}^k n_i$, $p_i=n_i/n$ und $a_i^\prime=a_i/p_i$ für jedes $i=1,\ldots,k$. Dann gilt für jedes ${\mathbf{a}}\not={\mathbf{o}}$
  

  $$\frac{\Bigl(\sum\limits_{i=1}^k a_iy_i\Bigr)^2}{\sum\limits_{i=1}^k \displaystyle\frac{a_i^2}{n_i}} = \frac{n\Bigl(\sum\limits_{i=1}^k a^\prime_i y_i p_i\Bigr)^2}{\sum\limits_{i=1}^k (a^\prime_i)^2 p_i}$$

  $$= n\Biggl(\sum\limits_{i=1}^k \Bigl(y_i-\sum\limits_{j=1}^k y_jp_j\... ...imits_{i=1}^k \Bigl(y_i-\sum\limits_{j=1}^k y_jp_j\Bigr)^2 p_i\Bigr)}\Biggr)\,,$$

  
  
  wobei der letzte Quotient als das Quadrat eines Korrelationskoeffizienten aufgefaßt werden kann, weil
  $$\sum\limits_{i=1}^k a^\prime_i p_i=\sum\limits_{i=1}^k a_i=0\,.$$

• Gemäß Theorem WR-4.12 ist also dieser quadrierte Ausdruck genau dann maximal, wenn es Konstanten $c,d\in\mathbb{R}$ gibt, so daß

  $$\frac{a_i}{n_i}=c y_i+d\,,\qquad\forall\, i=1,\ldots,n\,.$$ (69)

  
  

• Wegen ${\mathbf{a}}\not={\mathbf{o}}$ und $\sum_{i=1}^k a_i=0$ ergibt sich hieraus, daß $c\not=0$ und
  $$0= c\Bigl(\sum\limits_{i=1}^k y_in_i\Bigr)+d\Bigl(\sum\limits_{i=1}^k n_i\Bigr)$$
  bzw.
  $$d=-c\;\frac{\sum\limits_{i=1}^k y_in_i}{\sum\limits_{i=1}^k n_i}\;.$$

• Durch Einsetzen dieses Ausdruckes in (69) ergibt sich nun, daß
  $$a_i= c n_i\Biggl(y_i-\frac{\sum\limits_{j=1}^k n_j y_j}{\sum\limits_{j=1}^k n_j}\Biggr)\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Aus (65) und aus Lemma 2.6 folgt, daß

  $$\sup\limits_{{\mathbf{a}}\in\mathcal{A}}\, T_{\mathbf{a}}^2 =\,\f... ...\cdot}- \overline Y_{\cdot\cdot})-(\theta_i-\overline\theta)\bigr)^2}{S^2_p}\;,$$ (70)

  
  
  wobei
  $$\overline Y_{\cdot\cdot}=\frac{1}{n}\sum\limits_{i=1}^{k}n_i\ove... ...1}{n}\sum\limits_{i=1}^{k}n_i\theta_i\,,\qquad n=\sum\limits_{i=1}^{k}n_i\,.$$

• Mit Hilfe der Darstellungsformel (70) kann nun die Verteilung der Testgröße $\sup_{{\mathbf{a}}\in\mathcal{A}}\, T_{\mathbf{a}}^2$ unter $H_0$ bestimmt werden.

Theorem 2.12   $\;$ Es gilt

$$\frac{1}{k-1}\;\sup\limits_{{\mathbf{a}}\in\mathcal{A}}\, T_{\mathbf{a}}^2\;\sim\;{\rm F}_{k-1,n-k}\,.$$ (71)

Beweis

 

• Aus Theorem 2.11 folgt, daß $(n-k)S^2_p/\sigma^2\sim\chi^2_{n-k}$ und daß $(\overline Y_{1\cdot},\ldots,\overline Y_{k\cdot})$ und $S^2_p$ unabhängig sind.
• Wegen (70) ist somit lediglich noch zu zeigen, daß

  $$\frac{1}{\sigma^2}\,\sum\limits_{i=1}^k n_i\bigl((\overline Y_{i\... ...rline Y_{\cdot\cdot})-(\theta_i-\overline\theta)\bigr)^2\,\sim\,\chi^2_{k-1}\,.$$ (72)

  
  

• Es gilt
  

  $$\frac{1}{\sigma^2}\,\sum\limits_{i=1}^k n_i\bigl(\overline Y_{i\cdot}- \theta_i\bigr)^2 = \frac{1}{\sigma^2}\,\sum\limits_{i=1}^k n_i\bigl((\overline Y_{i\... ...\cdot\cdot}-\overline\theta)+(\overline Y_{\cdot\cdot}-\overline\theta)\bigr)^2$$

  $$= \frac{1}{\sigma^2}\Biggl(\,\sum\limits_{i=1}^k n_i\bigl( (\overline Y_{i\cdot}-\theta_i) - (\overline Y_{\cdot\cdot}-\overline\theta) \bigr)^2$$

  $$+2(\overline Y_{\cdot\cdot}-\overline\theta)\Bigl(\underbrace{\su... ...ta)}_{=0}\Bigr)+n \bigl(\overline Y_{\cdot\cdot}-\overline\theta\bigr)^2\Biggr)$$

  $$= \sum\limits_{i=1}^k \frac{n_i}{\sigma^2}\bigl( (\overline Y_{i\cd... ...2 +\frac{n}{\sigma^2} \bigl(\overline Y_{\cdot\cdot}-\overline\theta\bigr)^2\,.$$

  
  

• Außerdem gilt für jedes $i=1,\ldots,k$, daß
  

  $${\rm Cov\,}\bigl(\overline Y_{i\cdot}- \overline Y_{\cdot\cdot},\,\overline Y_{\cdot\cdot}\bigr) = {\rm Cov\,}\bigl(\overline Y_{i\cdot} ,\,\overline Y_{\cdot\cdot}... ...r)- {\rm Cov\,}\bigl( \overline Y_{\cdot\cdot},\,\overline Y_{\cdot\cdot}\bigr)$$

  $$= \frac{n_i}{n}\;{\rm Cov\,}\bigl(\overline Y_{i\cdot}\,,\,\overlin... ...^2}\;{\rm Cov\,}\bigl(\overline Y_{j\cdot}\,,\,\overline Y_{j\cdot}\bigr)=0 \,.$$

  
  

• Aus Lemma 2.3 ergibt sich somit, daß $\bigl(\overline Y_{1\cdot}- \overline Y_{\cdot\cdot},\ldots,\overline Y_{k\cdot} - \overline Y_{\cdot\cdot}\bigr)$ und $\overline Y_{\cdot\cdot}$ unabhängig sind.
• Aus dem Transformationssatz für unabhängige Zufallsvektoren (vgl. Theorem I.1.8) ergibt sich somit, daß auch die Zufallsvariablen
  $$\sum\limits_{i=1}^k \frac{n_i}{\sigma^2}\bigl( (\overline Y_{i\cdot}-\theta_i) - (\overline Y_{\cdot\cdot}-\overline\theta) \bigr)^2$$   und$$\qquad \frac{n}{\sigma^2} \bigl(\overline Y_{\cdot\cdot}-\overline\theta\bigr)^2$$
  unabhängig sind.
• Darüber hinaus gilt
  $$\frac{1}{\sigma^2}\,\sum\limits_{i=1}^k n_i\bigl(\overline Y_{i\cdot}- \theta_i\bigr)^2\sim\chi^2_k$$   und$$\qquad \frac{n}{\sigma^2} \bigl(\overline Y_{\cdot\cdot}-\overline\theta\bigr)^2\sim\chi^2_1\,.$$

• Genauso wie im Beweis von Theorem 2.5 ergibt sich die Behauptung nun aus Lemma 2.2.
  
  $\Box$

Beachte

 

• Theorem 2.12 führt zu einem F-Test der ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ zum Niveau $1-\gamma\in(0,1)$ (gegen die Alternative $H_1: \theta_i\not=\theta_j$ für ein Paar $i,j\in\{1,\ldots,k\}$ mit $i\not=j$).
• Dabei wird $H_0$ abgelehnt, falls

  $$\frac{\sum\limits_{i=1}^k n_i\bigl(\overline Y_{i\cdot}- \overline Y_{\cdot\cdot}\bigr)^2}{(k-1)S^2_p}>\,{\rm F}_{k-1,n-k,\gamma}\,.$$ (73)

  
  

• Durch die folgende Quadratsummenzerlegung ergibt sich eine anschauliche Deutung von Zähler und Nenner der in (73) betrachteten Testgröße.

Theorem 2.13   $\;$ Es gilt

$$\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overli... ..._{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overline Y_{i\cdot} \bigr)^2\,.$$ (74)

Beweis

$\;$ Mit der in (55) bzw. (56) eingeführten Notation gilt

$$\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overline Y_{\cdot\cdot}\bigr)^2 = \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl((Y_{ij}-\overline Y_{i\cdot})+(\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})\bigr)^2$$

$$= \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl((Y_{ij}-\overli... ...rline Y_{\cdot\cdot})+ (\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})^2\bigr)$$

$$= \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}(Y_{ij}-\overline Y_{... ...imits_{i=1}^{k} n_i (\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})^2\bigr)\,.$$

 
  $\Box$

Beachte

 

• Die Doppelsumme auf der linken Seite von (74) kann als eine Maßzahl für die (Gesamt-) Variabilität der Stichprobenvariablen $\{Y_{ij},\, i=1,\ldots,k,\, j=1,\ldots,n_i\}$ aufgefaßt werden.
• Die erste Summe auf der rechten Seite von (74) ist eine Maßzahl für die Variabilität zwischen den Stufen des Einflußfaktors, während die Doppelsumme auf der rechten Seite von (74) eine Maßzahl für die Variabilität innerhalb der Stufen des Einflußfaktors ist.
• Wegen
  $$S_p^2=\frac{1}{n-k}\;\sum\limits_{i=1}^k\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}-\overline Y_{i\cdot}\bigr)^2$$
  ist die in (73) betrachtete Testgröße also proportional zu dem Quotienten, der aus der Variabilität zwischen den Stufen des Einflußfaktors und der Variabilität innerhalb der Stufen gebildet wird.
• Die durch (73) gegebene Entscheidungsregel bedeutet somit, daß die ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ abgelehnt wird, falls die Variabilität zwischen den Stufen signifikant größer als die Variabilität innerhalb der Stufen des Einflußfaktors ist.