Einfaktorielle Varianzanalyse; ANOVA-Nullhypothese

• Bei der einfaktoriellen Varianzanalyse nehmen wir an, dass sich die Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ in $k$ Klassen von Teilstichproben $(Y_{ij}, j=1,\ldots,n_i)$ zerlegen läßt,
  • wobei $n_i>1$ für jedes $i=1,\ldots,k$ und $\sum_{i=1}^k n_i=n$
  • und die Stichprobenvariablen, die zu einundderselben Klasse gehören, jeweils den gleichen Erwartungswert $\theta_i$ haben mögen.
• Mit anderen Worten: Wir nehmen an, dass

  $$Y_{ij}=\theta_i+\varepsilon _{ij} ,\qquad \forall i=1,\ldots,k,\; j=1,\ldots,n_i ,$$ (4)

  
  
  wobei $\theta_1,\ldots,\theta_k\in\mathbb{R}$ (unbekannte) Parameter sind und die Störgrößen $\varepsilon _{ij}:\Omega\to\mathbb{R}$ unkorreliert sind mit

  $${\mathbb{E} }\varepsilon _{ij}=0 ,\qquad{\rm Var }\varepsilon _{ij}=\sigma^2 ,\qquad \forall i=1,\ldots,k,\; j=1,\ldots,n_i .$$ (5)

  
  

Beachte

 

• Die Nummern $i=1,\ldots,k$ der Klassen $(Y_{ij}, j=1,\ldots,n_i)$ werden als Stufen eines Einflussfaktors gedeutet.
• Die oben gemachten Modellannahmen bedeuten insbesondere, dass die beobachteten Werte $y_1,\ldots,y_n$ der Zielvariablen $Y_1,\ldots,Y_n$ wie folgt tabellarisch strukturiert werden können:

  
  

  Stufe	1	2	3	$\ldots$	$k$
  	$y_{11}$	$y_{21}$	$y_{31}$	$\cdots$	$y_{k1}$
  	$y_{12}$	$y_{22}$	$y_{32}$	$\cdots$	$y_{k2}$
  	$\vdots$	$\vdots$	$\vdots$	$\cdots$	$y_{k3}$
  			$y_{3n_3}$		$\vdots$
  	$y_{1n_1}$
  		$y_{2n_2}$			$y_{kn_k}$

Wir zeigen, dass die klassische ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ mit Hilfe von so genannten Kontrasten ausgedrückt werden kann.

• Hierfür betrachten wir folgende Menge $\mathcal{A}\subset\mathbb{R}^k$ mit
  $$\mathcal{A}=\Bigl\{{\mathbf{a}}=(a_1,\ldots,a_k)^\top: {\mathbf{a}}\not={\bf o}, \sum\limits_{i=1}^k a_i=0\Bigr\} .$$

• Sei ${\mathbf{t}}=(t_1,\ldots,t_k)^\top\in\mathbb{R}^k$ ein beliebiger Vektor von Variablen, und sei ${\mathbf{a}}=(a_1,\ldots,a_k)^\top\in\mathcal{A}$ ein Vektor von (bekannten) Konstanten. Die Abbildung ${\mathbf{t}}\to\sum_{i=1}^k a_i t_i$ heißt dann Kontrast.

Lemma 3.1   $\;$ Seien $\theta_1,\ldots,\theta_k\in\mathbb{R}$ beliebige relle Zahlen. Für die Gültigkeit von $\theta_1=\ldots=\theta_k$ ist dann notwendig und hinreichend, dass

$$\sum_{i=1}^k a_i\theta_i=0 \qquad\forall\;{\mathbf{a}}\in\mathcal{A} .$$ (6)

Beweis

 

• Wenn $\theta_1=\ldots=\theta_k=\theta$, dann gilt für jedes ${\mathbf{a}}\in\mathcal{A}$
  $$\sum\limits_{i=1}^k a_i\theta_i=\theta \sum\limits_{i=1}^k a_i=0 .$$

• Um die Hinlänglichkeit der Bedingung zu beweisen, betrachten wir die Vektoren ${\mathbf{a}}_1,\ldots,{\mathbf{a}}_{k-1}\in\mathcal{A}$ mit
  $${\mathbf{a}}_1=(1,-1,0,\ldots,0)^\top ,\quad{\mathbf{a}}_2=(0,1,... ...ots,0)^\top ,\quad\ldots ,\quad {\mathbf{a}}_{k-1}=(0,\ldots,0,1,-1)^\top .$$

• Für jedes $i\in\{1,\ldots,k-1\}$ ergibt sich aus der Gültigkeit der Bedingung (6) für ${\mathbf{a}}_i$, dass $-\theta_i+\theta_{i+1}=0$ bzw. $\theta_i=\theta_{i+1}$. Hieraus folgt, dass $\theta_1=\ldots\theta_k$.
  
  $\Box$

Beachte

 

• Wegen Lemma 3.1 ist die klassische ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ äquivalent ist mit der Hypothese $H_0:\sum_{i=1}^k a_i\theta_i=0$ für jedes ${\mathbf{a}}=(a_1,\ldots,a_k)^\top\in\mathcal{A}$.
• Außerdem ist klar,
  • dass $\sum_{i=1}^k a_i\overline Y_{i \cdot}$ mit $\overline Y_{i \cdot}=\sum_{j=1}^{n_i} Y_{ij}/n_i$ für jedes ${\mathbf{a}}\in\mathcal{A}$ ein erwartungstreuer Schätzer für $\sum_{i=1}^k a_i\theta_i=0$ ist,
  • dass die Varianz von $\sum_{i=1}^k a_i\overline Y_{i \cdot}$ gegeben ist durch ${\rm Var }\sum_{i=1}^k a_i\overline Y_{i \cdot}=\sigma^2\;\sum_{i=1}^k a_i^2/n_i$
  • und dass

    $$S_p^2=\frac{1}{n-k}\;\sum\limits_{i=1}^k\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}-\overline Y_{i\;\cdot}\bigr)^2$$ (7)

    
    
    ein Schätzer für $\sigma ^2$ ist, die so genannte gepoolte Stichprobenvarianz.
• Es ist somit naheliegend, $H_0:\theta_1=\ldots=\theta_k$ abzulehnen, wenn das Supremum über alle ${\mathbf{a}}\in\mathcal{A}$ der (geeignet normierten) Beträge von $\sum_{i=1}^k a_i\overline Y_{i \cdot}$ einen gewissen Schwellenwert überschreitet, wobei die Testgröße $\sup_{{\mathbf{a}}\in\mathcal{A}}T_{{\mathbf{a}}}^2$ betrachtet wird mit $T_{{\mathbf{a}}}=\Bigl(\sum_{i=1}^k a_i\overline Y_{i \cdot}\Bigr)\Big/\Bigl(S_p^2 \sum_{i=1}^k a_i^2/n_i\Bigr)$.
• Ähnlich wie im Beweis von Lemma 2.4 kann man zeigen, dass unter $H_0:\theta_1=\ldots=\theta_k$

  $$\sup_{{\mathbf{a}}\in\mathcal{A}}T_{{\mathbf{a}}}^2=\frac{\sum\li... ...k n_i\bigl(\overline Y_{i \cdot}-\overline Y_{\cdot \cdot}\bigr)^2}{S_p^2}\;,$$ (8)

  
  
  wobei $\overline Y_{\cdot \cdot}=\sum_{i=1}^k n_i \overline Y_{i\;\cdot}\Big/\sum_{i=1}^k n_i$.

Durch die folgende Quadratsummenzerlegung ergibt sich eine anschauliche Deutung von Zähler und Nenner der in (8) betrachteten Testgröße $\sup_{{\mathbf{a}}\in\mathcal{A}}T_{{\mathbf{a}}}^2$, vgl. auch Theorem 2.9.

Theorem 3.1   $\;$ Es gilt

$$\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overli... ..._{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overline Y_{i\cdot} \bigr)^2 .$$ (9)

Beweis

$\;$ Durch Ausmultiplizieren der linken Seite von (9) ergibt sich, dass

$$\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl(Y_{ij}- \overline Y_{\cdot\cdot}\bigr)^2 = \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl((Y_{ij}-\overline Y_{i\cdot})+(\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})\bigr)^2$$

$$= \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}\bigl((Y_{ij}-\overli... ...rline Y_{\cdot\cdot})+ (\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})^2\bigr)$$

$$= \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{n_i}(Y_{ij}-\overline Y_{... ...\sum\limits_{i=1}^{k} n_i (\overline Y_{i\cdot}- \overline Y_{\cdot\cdot})^2 .$$

 
  $\Box$

Beachte

 

• Die Doppelsumme auf der linken Seite von (9) kann als eine Maßzahl für die (Gesamt-) Variabilität der Stichprobenvariablen $\{Y_{ij}, i=1,\ldots,k, j=1,\ldots,n_i\}$ aufgefasst werden.
• Die erste Summe auf der rechten Seite von (9) ist eine Maßzahl für die Variabilität zwischen den Stufen des Einflussfaktors, während die Doppelsumme auf der rechten Seite von (9) eine Maßzahl für die Variabilität innerhalb der Stufen des Einflussfaktors ist.
• Wegen der in (7) gegebenen Definition von $S_p^2$ ist die in (8) betrachtete Testgröße also proportional zu dem Quotienten, der aus der Variabilität zwischen den Stufen des Einflussfaktors und der Variabilität innerhalb der Stufen gebildet wird.
• Die ANOVA-Nullhypothese $H_0:\theta_1=\ldots=\theta_k$ wird somit abgelehnt, wenn die Variabilität zwischen den Stufen signifikant größer als die Variabilität innerhalb der Stufen des Einflussfaktors ist.