Schätzbare Funktionen

• In Abschnitt 4.2.1 hatten wir gezeigt, daß es im linearen Modell ohne Nebenbedingungen keinen MKQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist, falls die Designmatrix ${\mathbf{X}}$ keinen vollen Rang besitzt,
• Anstelle des Vektors ${\boldsymbol {\beta }}$ betrachtet man deshalb eine Klasse von (reellwertigen) linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$, für die erwartungstreue MKQ-Schätzer konstruiert werden können.
• Mit anderen Worten: Anstelle der (vektoriellen) Lineartransformation $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots, Y_n)$ betrachtet man eine Klasse von (reellwertigen) linearen Funktionen ${\mathbf{c}}^\top{\mathbf{Y}}$ von ${\mathbf{Y}}$, die als Schätzer von ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ aufgefaßt werden.
• Dies führt zu der folgenden Begriffsbildung.

Definition

 

• Sei ${\mathbf{a}}=(a_1,\ldots,a_m)^\top\in\mathbb{R}^m$ ein beliebiger $m$-dimensionaler Vektor.
• Die lineare Funktion ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ heißt erwartungstreu schätzbar bzw. schätzbare Funktion, falls es einen $n$-dimensionalen Vektor ${\mathbf{c}}=(c_1,\ldots,c_n)^\top$ gibt, so daß

  $${\mathbb{E}\,}\bigl({\mathbf{c}}^\top{\mathbf{Y}}\bigr)={\mathbf{... ...top{\boldsymbol{\beta}}\,,\qquad\forall\,{\boldsymbol{\beta}}\in\mathbb{R}^m\,.$$ (35)

  
  

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Für das reparametrisierte Modell der einfaktoriellen Varianzanalyse kann man zeigen, daß beispielsweise $\alpha_1-\alpha_2$ eine schätzbare Funktion im Sinne der Definitionsgleichung (35) ist.
• Denn mit
  $${\mathbf{a}}^\top=(0,1,-1,0,\ldots,0)$$   und$$\qquad {\mathbf{c}}^\top=(\underbrace{0,\ldots,0}_{n_1-1},1,-1,0,\ldots,0)$$
  gilt
  $${\mathbb{E}\,}\bigl({\mathbf{c}}^\top{\mathbf{Y}}\bigr)={\mathbb{... ...ha_1)-(\mu+\alpha_2)=\alpha_1-\alpha_2 ={\mathbf{a}}^\top{\boldsymbol{\beta}}$$
  für jedes ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)\in\mathbb{R}^{k+1}$.
• Auf ähnliche Weise kann man zeigen, daß auch $\mu+\alpha_i$ für $i=1,\ldots,k$ bzw. $\alpha_i-\alpha_{i^\prime}$ für $i,i^\prime=1,\ldots,k$ mit $i\not=i^\prime$ schätzbare Funktionen von ${\boldsymbol {\beta }}$ sind, vgl. Übungsaufgabe 11.1.

Beispiel

$\;$ (zweifaktorielle Varianzanalyse mit balancierten Teilstichproben)

• Für das in Abschnitt 4.1.2 eingeführte Modell der zweifaktoriellen Varianzanalyse mit balancierten Teilstichproben besitzen die Normalengleichungen (19) die folgende Gestalt, vgl. Übungsaufgabe 11.2:
  

  $$rk_1k_2\mu+rk_2\sum\limits_{i_1=1}^{k_1}\alpha^{(1)}_{i_1} +rk_1\... ...{(2)}_{i_2} +r\sum\limits_{i_1=1}^{k_1}\sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} = Y_{\cdot\cdot\cdot}$$

  $$r k_2\mu+rk_2 \alpha^{(1)}_{i_1} +r \sum\limits_{i_2=1}^{k_2}\alpha^{(2)}_{i_2} +r \sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} = Y_{i_1\,\cdot\,\cdot} \qquad \forall\, i_1=1,\ldots,k_1$$

  $$r k_1\mu+r\sum\limits_{i_1=1}^{k_1} \alpha^{(1)}_{i_1} +rk_1 \alpha^{(2)}_{i_2} +r \sum\limits_{i_1=1}^{k_1}\alpha_{i_1i_2} = Y_{\cdot\,i_2\,\cdot} \qquad \forall\, i_2=1,\ldots,k_2$$

  $$r\mu+r \alpha^{(1)}_{i_1} +r \alpha^{(2)}_{i_2} +r \alpha_{i_1i_2} = Y_{i_1 i_2\,\cdot} \qquad \forall\, i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$$

  
  

• Unter Berücksichtigung der Nebenbedingungen (11) ist dieses Gleichungssystem eindeutig lösbar. Mit anderen Worten: Wenn nur Parametervektoren
  $${\boldsymbol{\beta}}=\bigl(\mu,\alpha^{(1)}_1,\ldots, \alpha^{(1... ...^{(2)}_1,\ldots, \alpha^{(2)}_{k_2},\alpha_{11},\ldots,\alpha_{k_1k_2}\bigr)$$
  aus dem eingeschränkten Parameterraum
  $$\Theta=\Bigl\{{\boldsymbol{\beta}}:\... ...=1}^{k_1}\alpha_{i_1i_2}= \sum\limits_{i_2=1}^{k_2}\alpha_{i_1i_2} =0\Bigr\}$$
  betrachten werden, dann ergibt sich die eindeutig bestimmte Lösung
  $$\widehat{\boldsymbol{\beta}}=\bigl(\widehat\mu,\widehat\alpha^{(1... ...at\alpha^{(2)}_{k_2},\widehat\alpha_{11},\ldots,\widehat\alpha_{k_1k_2}\bigr)$$
  der Normalengleichungen, wobei

  $$\widehat\mu=\overline Y_{\cdot\cdot\cdot}\,,\quad \widehat\alpha^... ...rline Y_{i_1i_2\cdot}-\overline Y_{i_1\cdot\cdot}-\overline Y_{\cdot\,i_2\cdot}$$ (36)

  
  
  für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$.
• Man kann zeigen (vgl. Übungsaufgabe 11.2), daß die in (36) gegebene Lösung $\widehat{\boldsymbol{\beta}}$ der Normalengleichungen die Gestalt $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ hat, wobei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ ist und ${\mathbf{X}}$ die Designmatrix des zweifaktoriellen Varianzanalyse-Modells mit balancierten Teilstichproben ist.
• Beachte: Die Stichprobenfunktion $\widehat{\boldsymbol{\beta}}$ wurde bereits in Theorem 4.1 diskutiert, wobei gezeigt wurde, daß $\widehat{\boldsymbol{\beta}}$ ein erwartungstreuer Schätzer für ${\boldsymbol {\beta }}$ bezüglich des eingeschränkten Parameterraumes $\Theta$ ist.
• Außerdem kann man zeigen, daß die linearen Funktionen $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ des Parametervektors ${\boldsymbol {\beta }}$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$ im Sinne der Definitionsgleichung (35) (d.h. ohne Berücksichtigung der Nebenbedingungen (11)) erwartungstreu schätzbar sind.
• Im Modell der zweifaktoriellen Varianzanalyse ohne Wechselwirkungen, d.h. $\alpha_{i_1i_2}=0$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$, sind auch $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ für beliebige $i_1,i_1^\prime =1,\ldots,k_1$ mit $i_1\not=i_1^\prime$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ für beliebige $i_2,i_2^\prime=1,\ldots,k_2$ mit $i_2\not=i_2^\prime$ erwartungstreu schätzbar.

Wir leiten nun zwei allgemeine Kriterien für die erwartungstreue Schätzbarkeit von linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ her.

Theorem 4.6   Die lineare Funktion ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ des Parametervektors ${\boldsymbol {\beta }}$ ist genau dann erwartungstreu schätzbar, wenn eine der folgenden beiden Bedingungen erfüllt ist:

1.

Es gibt einen $n$-dimensionalen Vektor ${\mathbf{c}}=(c_1,\ldots,c_n)^\top$, so daß

$${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}\,.$$ (37)

2.

Der Vektor ${\mathbf{a}}$ genügt dem folgenden Gleichungssystem:

$${\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{a}}^\top\,.$$ (38)

Beweis

 

• Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$. Dann ergibt sich aus (35), daß
  $${\mathbf{a}}^\top{\boldsymbol{\beta}}= {\mathbb{E}\,}\bigl({\mat... ...p{\mathbb{E}\,}{\mathbf{Y}}= {\mathbf{c}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$   bzw.$$\qquad \Bigl({\mathbf{c}}^\top{\mathbf{X}}-{\mathbf{a}}^\top\Bigr){\boldsymbol{\beta}}=0$$
  für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$. Hieraus folgt, daß ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$.
• Umgekehrt ergibt sich aus der Existenz eines Vektors ${\mathbf{c}}$, der der Bedingung (37) genügt, daß
  $${\mathbb{E}\,}\bigl({\mathbf{c}}^\to... ...{\beta}}\,,\qquad\forall\,{\boldsymbol{\beta}}\in\Theta\subset\mathbb{R}^m\,.$$

• Damit ist auch die Hinlänglichkeit der Bedingung (37) bewiesen.
• Um die Notwendigkeit der Bedingung (38) zu zeigen, benutzen wir das Ergebnis von Lemma 4.3.
• Zur Erinnerung: In Lemma 4.3 hatten wir gezeigt, daß die transponierte Matrix $\bigl(\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-\bigr)^\top$ ebenfalls eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ ist und daß ${\mathbf{X}}^\top{\mathbf{X}}\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-{\mathbf{X}}^\top={\mathbf{X}}^\top$.
• Damit gilt auch ${\mathbf{X}}^\top{\mathbf{X}}\bigl(\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-\bigr)^\top{\mathbf{X}}^\top={\mathbf{X}}^\top$ bzw.

  $${\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}\,.$$ (39)

  
  

• Sei nun ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$. Dann ergibt sich aus (35) und (39), daß
  $${\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\t... ...thbf{X}}^\top{\mathbf{X}} ={\mathbf{c}}^\top{\mathbf{X}}={\mathbf{a}}^\top\,.$$

• Um die Hinlänglichkeit der Bedingung (38) zu zeigen, genügt es zu beachten, daß sich aus (38) die Gültigkeit von ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$ für ${\mathbf{c}}^\top={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top$ ergibt.
• Die erwartungstreue Schätzbarkeit von ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ergibt sich nun aus der ersten Teilaussage.
  
  $\Box$

Beachte

 

• Falls die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. $({\mathbf{X}}^\top{\mathbf{X}})^-=({\mathbf{X}}^\top{\mathbf{X}})^{-1}$, dann ist die Bedingung (38) offenbar für jedes ${\mathbf{a}}\in\mathbb{R}^m$ erfüllt.
• In diesem Fall ist somit jede lineare Funktion des Parametervektors ${\boldsymbol {\beta }}$ erwartungstreu schätzbar, was bereits in Theorem 3.3 gezeigt wurde.
• Für den Fall, daß die Designmatrix ${\mathbf{X}}=(x_{ij})$ keinen vollen Rang hat, ergibt sich aus der zweiten Teilaussage von Theorem 4.6 die Schätzbarkeit der folgenden linearen Funktionen ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ von ${\boldsymbol {\beta }}$.
• Der (Gewichts-) Vektor ${\mathbf{c}}$ des linearen erwartungstreuen Schätzers ${\mathbf{c}}^\top{\mathbf{Y}}$ für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ kann dabei jeweils so wie im Beweis von Theorem 4.6 gewählt werden, d.h.,

  $${\mathbf{c}}^\top={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\,.$$ (40)

  
  

Theorem 4.7   $\;$ Die folgenden linearen Funktionen des Parametervektors ${\boldsymbol {\beta }}$ sind erwartungstreu schätzbar:

1.

die Komponenten $\sum_{j=1}^m x_{1j}\beta_j,\ldots,\sum_{j=1}^m x_{nj}\beta_j$ des Erwartungswertvektors ${\mathbb{E}\,}{\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}$,

2.

jede lineare Funktion von schätzbaren Funktionen,

3.

die Komponenten $\beta^\prime_1,\ldots,\beta^\prime_m$ des sogenannten projizierten Parametervektors ${\boldsymbol{\beta}}^\prime=(\beta^\prime_1,\ldots,\beta^\prime_m)$, wobei

$${\boldsymbol{\beta}}^\prime=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}\,.$$ (41)

Beweis

 

• Sei ${\mathbf{a}}_i=(x_{i1},\ldots,x_{im})^\top$ für jedes $i\in\{1,\ldots,n\}$. Dann gilt
  $$\left(\begin{array}{c} {\mathbf{a}}_1^\top\\ \vdots\\ {\mathb... ...{\mathbf{a}}_1^\top\\ \vdots\\ {\mathbf{a}}_n^\top \end{array}\right)\,,$$
  wobei sich die vorletzte Gleichheit aus (39) ergibt.
• Aus Theorem 4.6 folgt nun, daß jede der Linearkombinationen $\sum_{j=1}^m x_{1j}\beta_j,\ldots,\sum_{j=1}^m x_{nj}\beta_j$ eine schätzbare Funktion ist.
• Um die zweite Teilaussage zu beweisen, betrachten wir eine beliebige (endliche) Familie ${\mathbf{a}}_1^\top{\boldsymbol{\beta}},\ldots,{\mathbf{a}}_s^\top{\boldsymbol{\beta}}$ von $s$ schätzbaren Funktionen, die wir in der Form ${\mathbf{A}}{\boldsymbol{\beta}}$ darstellen, wobei ${\mathbf{A}}=\bigl({\mathbf{a}}_1,\ldots,{\mathbf{a}}_s\bigr)^\top$ eine $s\times m$-dimensionale Matrix und $s\in\mathbb{N}$ eine beliebige natürliche Zahl ist.
• Aus Theorem 4.6 folgt nun, daß
  $${\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{A}}\,.$$

• Für jeden $s$-dimensionalen Vektor ${\mathbf{b}}=(b_1,\ldots,b_s)\in\mathbb{R}^s$ gilt damit auch
  $${\mathbf{b}}{\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{b}}{\mathbf{A}}\,.$$

• Hieraus ergibt sich mit Hilfe von Theorem 4.6, daß die lineare Funktion ${\mathbf{b}}{\mathbf{A}}{\boldsymbol{\beta}}$ der schätzbaren Funktionen ${\mathbf{A}}{\boldsymbol{\beta}}$ selbst eine schätzbare Funktion ist.
• In der dritten Teilaussage wird die Familie ${\mathbf{A}}{\boldsymbol{\beta}}$ von linearen Funktionen des Parametervektors ${\boldsymbol {\beta }}$ betrachtet, wobei die $m\times m$ Matrix ${\mathbf{A}}$ gegeben ist durch ${\mathbf{A}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}$.
• Hieraus folgt, daß
  $${\mathbf{A}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\m... ...{\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{A}}\,,$$
  wobei sich die vorletzte Gleichheit aus der Definitionsgleichung (20) der verallgemeinerten Inversen ergibt.
• Aus Theorem 4.6 folgt nun, daß die Komponenten $\beta^\prime_1,\ldots,\beta^\prime_m$ des projizierten Parametervektors
  $${\boldsymbol{\beta}}^\prime={\mathbf{A}}{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$
  schätzbare Funktionen sind.
  
  $\Box$

Beachte

 

• Der in (41) eingeführte Begriff des projizierten Parametervektors ${\boldsymbol{\beta}}^\prime=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$ hängt mit dem Begriff der (nichtnotwendig orthogonalen) Projektion von Vektorräumen auf Unterräume zusammen, vgl. auch Abschnitt 3.1.2, wo der Spezialfall der Orthogonalprojektion diskutiert wurde.
• Und zwar seien $\mathcal{L}_1,\mathcal{L}_2\subset\mathbb{R}^m$ lineare Unterräume des $\mathbb{R}^m$, so daß sich
  • $\mathbb{R}^m$ als direkte Summe $\mathbb{R}^m=\mathcal{L}_1\oplus\mathcal{L}_2$ ausdrücken und
  • jedes ${\mathbf{x}}\in\mathbb{R}^m$ auf eindeutige Weise in ${\mathbf{x}}={\mathbf{x}}_1+{\mathbf{x}}_2$ mit ${\mathbf{x}}_1\in\mathcal{L}_1$ und ${\mathbf{x}}_2\in\mathcal{L}_2$ zerlegen läßt.
• Die Abbildung $\mathcal{P}:\mathbb{R}^m\to\mathcal{L}_1$ mit $\mathcal{P}({\mathbf{x}})={\mathbf{x}}_1$ heißt dann Projektion von $\mathbb{R}^m$ auf den linearen Unterraum $\mathcal{L}_1$ entlang des linearen Unterraumes $\mathcal{L}_2$.
• In Verallgemeinerung von Lemma 3.5 gilt die folgende Charakterisierung von Projektionsoperatoren, die wir hier ohne Beweis erwähnen.

Lemma 4.5   $\;$ Die $m\times m$ Matrix ${\mathbf{A}}$ ist genau dann eine Projektion des $\mathbb{R}^m$ auf den linearen Unterraum $\mathcal{L}_1$, wenn ${\mathbf{A}}(\mathbb{R}^m)=\mathcal{L}_1$ und ${\mathbf{A}}$ idempotent ist.

Beachte

 

• Die Matrix $({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}$, die in der Definitionsgleichung (41) des projizierten Parametervektors ${\boldsymbol{\beta}}^\prime=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$ betrachtet wird, ist offenbar idempotent.
• Aus Lemma 4.5 ergibt sich somit, daß ${\mathbf{A}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}$ ein (nichtnotwendig orthogonaler) Projektionsoperator des $\mathbb{R}^m$ auf den linearen Unterraum ${\mathbf{A}}(\mathbb{R}^m)=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}\bigl(\mathbb{R}^m\bigr)$ ist.