Schätzbare Funktionen

• In Abschnitt 3.2.2 hatten wir gezeigt, dass es im linearen Modell ohne Nebenbedingungen keinen erwartungstreuen KQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, wenn die Designmatrix ${\mathbf{X}}$ keinen vollen Rang besitzt.
• Anstelle des Vektors ${\boldsymbol {\beta }}$ betrachtet man deshalb eine Klasse von (reellwertigen) linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$, für die erwartungstreue KQ-Schätzer konstruiert werden können.
• Mit anderen Worten: Anstelle der (vektoriellen) Lineartransformation $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ betrachtet man eine Klasse von (reellwertigen) linearen Funktionen ${\mathbf{c}}^\top{\mathbf{Y}}$ von ${\mathbf{Y}}$, die als Schätzer von ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ aufgefasst werden.
• Dies führt zu der folgenden Begriffsbildung.

Definition

 

• Sei ${\mathbf{a}}=(a_1,\ldots,a_m)^\top\in\mathbb{R}^m$ ein beliebiger $m$-dimensionaler Vektor.
• Die lineare Funktion ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ heißt erwartungstreu schätzbar bzw. schätzbare Funktion, wenn es einen $n$-dimensionalen Vektor ${\mathbf{c}}=(c_1,\ldots,c_n)^\top$ gibt, so dass

  $${\mathbb{E} }\bigl({\mathbf{c}}^\top{\mathbf{Y}}\bigr)={\mathbf{... ...top{\boldsymbol{\beta}} ,\qquad\forall {\boldsymbol{\beta}}\in\mathbb{R}^m .$$ (42)

  
  

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Für das reparametrisierte Modell der einfaktoriellen Varianzanalyse mit dem Parametervektor ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)^\top\in\mathbb{R}^{k+1}$ kann man zeigen, dass beispielsweise $\alpha_1-\alpha_2$ eine schätzbare Funktion im Sinne der Definitionsgleichung (42) ist.
• Denn mit
  $${\mathbf{a}}^\top=(0,1,-1,0,\ldots,0)$$   und$$\qquad {\mathbf{c}}^\top=(\underbrace{0,\ldots,0}_{n_1-1},1,-1,0,\ldots,0)$$
  gilt
  $${\mathbb{E} }\bigl({\mathbf{c}}^\top{\mathbf{Y}}\bigr)={\mathbb{... ...pha_1)-(\mu+\alpha_2)=\alpha_1-\alpha_2 ={\mathbf{a}}^\top{\boldsymbol{\beta}}$$
  für jedes ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)^\top\in\mathbb{R}^{k+1}$.
• Auf ähnliche Weise kann man zeigen, dass auch $\mu+\alpha_i$ für $i=1,\ldots,k$ bzw. $\alpha_i-\alpha_{i^\prime}$ für $i,i^\prime=1,\ldots,k$ mit $i\not=i^\prime$ schätzbare Funktionen von ${\boldsymbol {\beta }}$ sind.

Beispiel

$\;$ (zweifaktorielle Varianzanalyse mit balancierten Teilstichproben)

• Für das in Abschnitt 3.1.3 eingeführte Modell der zweifaktoriellen Varianzanalyse mit balancierten Teilstichproben besitzt die Normalengleichung (24) die folgende Gestalt:
  

  $$rk_1k_2\mu+rk_2\sum\limits_{i_1=1}^{k_1}\alpha^{(1)}_{i_1} +rk_1\... ...{(2)}_{i_2} +r\sum\limits_{i_1=1}^{k_1}\sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} = Y_{\cdot\cdot\cdot}$$

  $$r k_2\mu+rk_2 \alpha^{(1)}_{i_1} +r \sum\limits_{i_2=1}^{k_2}\alpha^{(2)}_{i_2} +r \sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} = Y_{i_1 \cdot \cdot} \qquad \forall i_1=1,\ldots,k_1$$

  $$r k_1\mu+r\sum\limits_{i_1=1}^{k_1} \alpha^{(1)}_{i_1} +rk_1 \alpha^{(2)}_{i_2} +r \sum\limits_{i_1=1}^{k_1}\alpha_{i_1i_2} = Y_{\cdot i_2 \cdot} \qquad \forall i_2=1,\ldots,k_2$$

  $$r\mu+r \alpha^{(1)}_{i_1} +r \alpha^{(2)}_{i_2} +r \alpha_{i_1i_2} = Y_{i_1 i_2 \cdot} \qquad \forall i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$$

  
  

• Unter Berücksichtigung der Nebenbedingung (18) ist dieses Gleichungssystem eindeutig lösbar. Mit anderen Worten: Wenn nur Parametervektoren
  $${\boldsymbol{\beta}}=\bigl(\mu,\alpha^{(1)}_1,\ldots, \alpha^{(1)... ...2)}_1,\ldots, \alpha^{(2)}_{k_2},\alpha_{11},\ldots,\alpha_{k_1k_2}\bigr)^\top$$
  aus dem eingeschränkten Parameterraum
  $$\Theta=\Bigl\{{\boldsymbol{\beta}}:\... ..._1=1}^{k_1}\alpha_{i_1i_2}= \sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} =0\Bigr\}$$
  betrachtet werden, dann ergibt sich die eindeutig bestimmte Lösung

  $$\widehat{\boldsymbol{\beta}}=\bigl(\widehat\mu,\widehat\alpha^{(1... ...alpha^{(2)}_{k_2},\widehat\alpha_{11},\ldots,\widehat\alpha_{k_1k_2}\bigr)^\top$$ (43)

  
  
  der Normalengleichung, wobei

  $$\widehat\mu=\overline Y_{\cdot\cdot\cdot} ,\quad \widehat\alpha^... ...rline Y_{i_1i_2\cdot}-\overline Y_{i_1\cdot\cdot}-\overline Y_{\cdot i_2\cdot}$$ (44)

  
  
  für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$.
• Man kann zeigen, dass die in (43) - (44) gegebene Lösung $\widehat{\boldsymbol{\beta}}$ der Normalengleichung die Gestalt
  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$
  hat, wobei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ und ${\mathbf{X}}$ die Designmatrix des zweifaktoriellen Varianzanalyse-Modells mit balancierten Teilstichproben ist.
• Beachte: Die in (43) - (44) gegebene Stichprobenfunktion $\widehat{\boldsymbol{\beta}}$ wurde bereits in Theorem 3.3 diskutiert, wobei gezeigt wurde, dass $\widehat{\boldsymbol{\beta}}$ ein erwartungstreuer Schätzer für ${\boldsymbol {\beta }}$ bezüglich des eingeschränkten Parameterraumes $\Theta$ ist.
• Außerdem kann man zeigen, dass die linearen Funktionen $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ des Parametervektors ${\boldsymbol {\beta }}$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$ im Sinne der Definitionsgleichung (42) (d.h. ohne Berücksichtigung der Nebenbedingungen (18)) erwartungstreu schätzbar sind.
• Im Modell der zweifaktoriellen Varianzanalyse ohne Wechselwirkungen, d.h. $\alpha_{i_1i_2}=0$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$, sind auch $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ für beliebige $i_1,i_1^\prime =1,\ldots,k_1$ mit $i_1\not=i_1^\prime$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ für beliebige $i_2,i_2^\prime=1,\ldots,k_2$ mit $i_2\not=i_2^\prime$ erwartungstreu schätzbar.

Das folgende Hilfsergebnis, das eine Ergänzung von Lemma 3.5 ist, benötigen wir, um zwei allgemeine Kriterien für die erwartungstreue Schätzbarkeit von linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ herzuleiten.

Lemma 3.6   $\;$ Sei $\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-$ eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$. Dann gilt

$${\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}} .$$ (45)

Beweis

$\;$ In Lemma 3.5 hatten wir gezeigt, dass

• die transponierte Matrix $\bigl(\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-\bigr)^\top$ ebenfalls eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ ist und dass ${\mathbf{X}}^\top{\mathbf{X}}\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-{\mathbf{X}}^\top={\mathbf{X}}^\top$.
• Damit gilt auch ${\mathbf{X}}^\top{\mathbf{X}}\bigl(\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-\bigr)^\top{\mathbf{X}}^\top={\mathbf{X}}^\top$.
• Hieraus ergibt sich (45) durch Vertauschen von Spalten und Zeilen.
  
  $\Box$

Theorem 3.9   $\;$ Sei ${\mathbf{a}}=(a_1,\ldots,a_m)^\top\in\mathbb{R}^m$ ein beliebiger Vektor. Die lineare Funktion ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ ist genau dann erwartungstreu schätzbar, wenn eine der folgenden beiden Bedingungen erfüllt ist:

1.

Es gibt ein ${\mathbf{c}}\in\mathbb{R}^n$, so dass

$${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}} .$$ (46)

2.

Der Vektor ${\mathbf{a}}$ genügt dem folgenden Gleichungssystem:

$${\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{a}}^\top .$$ (47)

Beweis

 

• Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$.
  • Dann ergibt sich aus (42), dass für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$
    $${\mathbf{a}}^\top{\boldsymbol{\beta}}= {\mathbb{E} }\bigl({\math... ...op{\mathbb{E} }{\mathbf{Y}}= {\mathbf{c}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$   bzw.$$\qquad \Bigl({\mathbf{c}}^\top{\mathbf{X}}-{\mathbf{a}}^\top\Bigr){\boldsymbol{\beta}}=0 .$$

  • Hieraus folgt, dass ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$.
• Umgekehrt sei ${\mathbf{c}}$ ein Vektor, der der Bedingung (46) genügt.
  • Hieraus folgt, dass
    $${\mathbb{E} }\bigl({\mathbf{c}}^\top{\mathbf{Y}}\bigr)={\mathbf{... ...op{\boldsymbol{\beta}} ,\qquad\forall {\boldsymbol{\beta}}\in\mathbb{R}^m .$$

  • Damit ist auch die Hinlänglichkeit der Bedingung (46) bewiesen.
• Um die Notwendigkeit der Bedingung (47) zu zeigen, benutzen wir das Ergebnis von Lemma 3.6.
  • Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$.
  • Dann ergibt sich aus (46) und (45), dass
    $${\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\t... ...athbf{X}}^\top{\mathbf{X}} ={\mathbf{c}}^\top{\mathbf{X}}={\mathbf{a}}^\top .$$

• Um die Hinlänglichkeit der Bedingung (47) zu zeigen, genügt es zu beachten,
  • dass sich aus (47) die Gültigkeit von ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$ für ${\mathbf{c}}^\top={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ ergibt.
  • Die erwartungstreue Schätzbarkeit von ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ergibt sich nun aus der ersten Teilaussage.
    
    $\Box$

Beachte

 

• Wenn die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. $({\mathbf{X}}^\top{\mathbf{X}})^-=({\mathbf{X}}^\top{\mathbf{X}})^{-1}$, dann ist die Bedingung (47) offenbar für jedes ${\mathbf{a}}\in\mathbb{R}^m$ erfüllt.
• In diesem Fall ist somit jede lineare Funktion des Parametervektors ${\boldsymbol {\beta }}$ erwartungstreu schätzbar, was bereits in Theorem 2.2 gezeigt wurde.

Für den Fall, dass die Designmatrix ${\mathbf{X}}=(x_{ij})$ keinen vollen Rang hat, zeigen wir,

• wie sich aus der zweiten Teilaussage von Theorem 3.9 die Schätzbarkeit der folgenden linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ von ${\boldsymbol {\beta }}$ ergibt.
• Der (Gewichts-) Vektor ${\mathbf{c}}$ des linearen erwartungstreuen Schätzers ${\mathbf{c}}^\top{\mathbf{Y}}$ für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ kann dabei jeweils so wie im Beweis von Theorem 3.9 gewählt werden, d.h.,

  $${\mathbf{c}}^\top={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top .$$ (48)

  
  

Theorem 3.10   $\;$ Die folgenden linearen Funktionen des Parametervektors ${\boldsymbol {\beta }}$ sind erwartungstreu schätzbar:

1.

die Komponenten $\sum_{j=1}^m x_{1j}\beta_j,\ldots,\sum_{j=1}^m x_{nj}\beta_j$ des Erwartungswertvektors ${\mathbb{E} }{\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}$,

2.

jede lineare Funktion von schätzbaren Funktionen,

3.

die Komponenten $\beta^\prime_1,\ldots,\beta^\prime_m$ des so genannten projizierten Parametervektors ${\boldsymbol{\beta}}^\prime=(\beta^\prime_1,\ldots,\beta^\prime_m)^\top$, wobei

$${\boldsymbol{\beta}}^\prime=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}} .$$ (49)

Beweis

 

• Sei ${\mathbf{a}}_i=(x_{i1},\ldots,x_{im})^\top$ für jedes $i\in\{1,\ldots,n\}$. Dann gilt
  $$\left(\begin{array}{c} {\mathbf{a}}_1^\top\\ \vdots\\ {\mathb... ...} {\mathbf{a}}_1^\top\\ \vdots\\ {\mathbf{a}}_n^\top \end{array}\right) ,$$
  wobei sich die vorletzte Gleichheit aus Lemma 3.6 ergibt. Aus Theorem 3.9 folgt nun, dass jede der Linearkombinationen $\sum_{j=1}^m x_{1j}\beta_j,\ldots,\sum_{j=1}^m x_{nj}\beta_j$ eine schätzbare Funktion ist.
• Um die zweite Teilaussage zu beweisen, betrachten wir eine beliebige (endliche) Familie ${\mathbf{a}}_1^\top{\boldsymbol{\beta}},\ldots,{\mathbf{a}}_s^\top{\boldsymbol{\beta}}$ von $s$ schätzbaren Funktionen, die wir in der Form ${\mathbf{A}}{\boldsymbol{\beta}}$ darstellen, wobei ${\mathbf{A}}=\bigl({\mathbf{a}}_1,\ldots,{\mathbf{a}}_s\bigr)^\top$ eine $s\times m$-dimensionale Matrix und $s\in\mathbb{N}$ eine beliebige natürliche Zahl ist.
• Aus Theorem 3.9 ergibt sich, dass
  $${\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{A}} .$$
  • Für jeden $s$-dimensionalen Vektor ${\mathbf{b}}=(b_1,\ldots,b_s)^\top\in\mathbb{R}^s$ gilt damit auch
    $${\mathbf{b}}^\top{\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{b}}^\top{\mathbf{A}} .$$

  • Hieraus ergibt sich mit Hilfe von Theorem 3.9, dass die lineare Funktion ${\mathbf{b}}^\top{\mathbf{A}}{\boldsymbol{\beta}}$ der schätzbaren Funktionen ${\mathbf{A}}{\boldsymbol{\beta}}$ selbst eine schätzbare Funktion ist.
• In der dritten Teilaussage wird die Familie ${\mathbf{A}}{\boldsymbol{\beta}}$ von linearen Funktionen des Parametervektors ${\boldsymbol {\beta }}$ betrachtet, wobei die $m\times m$ Matrix ${\mathbf{A}}$ gegeben ist durch ${\mathbf{A}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}$.
  • Hieraus folgt, dass
    $${\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\m... ...({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{A}} ,$$
    wobei sich die vorletzte Gleichheit aus der Definitionsgleichung (25) der verallgemeinerten Inversen ergibt.
  • Aus Theorem 3.9 folgt nun, dass die Komponenten $\beta^\prime_1,\ldots,\beta^\prime_m$ des projizierten Parametervektors
    $${\boldsymbol{\beta}}^\prime={\mathbf{A}}{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$
    schätzbare Funktionen sind.
    
    $\Box$