Beste lineare erwartungstreue Schätzer; Gauß-Markov-Theorem

• Wir zeigen nun, wie BLUE-Schätzer für schätzbare Funktionen des Parametervektors ${\boldsymbol {\beta }}$ konstruiert werden können, wobei wir ähnlich wie in Theorem 4.4 vorgehen.
• Zur Erinnerung: Ein linearer erwartungstreuer Schätzer wird BLUE-Schätzer genannt, wenn es keinen linearen erwartungstreuen Schätzer gibt, dessen Varianz kleiner ist (BLUE = best linear unbiased estimator).
• In der Theorie linearer Modelle wird das folgende Resultat das Gauß-Markov-Theorem genannt.

Theorem 4.8    

• Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$, sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige verallgemeinerte Inverse der $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$, und sei $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$.
• Dann ist ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ ein BLUE-Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$, wobei

  $${\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\bigr)=\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}}\,.$$ (42)

  
  

Beweis

 

• Es ist klar, daß ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ eine lineare Funktion der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots, Y_n)$ ist.
• Weil vorausgesetzt wird, daß ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$ ist, folgt aus Theorem 4.6, daß es einen $n$-dimensionalen Vektor ${\mathbf{c}}=(c_1,\ldots,c_n)^\top$ gibt, so daß

  $${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}\,.$$ (43)

  
  

• Somit gilt
  

  $${\mathbb{E}\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\bigr) = {\mathbf{c}}^\top{\mathbf{X}}{\mathbb{E}\,}\overline{\boldsymbol{\beta}}$$

  $$= {\mathbf{c}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbb{E}\,}{\mathbf{Y}}$$

  $$= {\mathbf{c}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$

  $$= {\mathbf{c}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{a}}^\top{\boldsymbol{\beta}}$$

  
  
  für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$, wobei sich die vorletzte Gleichheit aus (39) ergibt.
• Damit ist gezeigt, daß ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ ein linearer erwartungstreuer Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ist.
• Aus den Rechenregeln für die Varianz (vgl. Theorem WR-4.13) ergibt sich, daß
  $${\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\b... ...m\limits_{j=1}^m a_i a_j \;{\rm Cov\,}(\overline\beta_i,\overline\beta_j)\,.$$

• Außerdem hatten wir im Beweis von Theorem 4.5 gezeigt, daß
  $${\rm Cov\,}(\overline\beta_i,\overline\beta_j)= \sigma^2 \bigl((... ... {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij}\,.$$

• Hieraus folgt, daß
  

  $${\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\bigr) = \sigma^2\sum\limits_{i=1}^m\sum\limits_{j=1}^m a_i a_j\bigl(({\ma... ...^\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij}$$

  $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top{\mathbf{a}}$$

  $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top{\mathbf{X}}^\top{\mathbf{c}}$$

  $$= \sigma^2{\mathbf{a}}^\top ({\mathbf{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{c}}\,,$$

  
  
  wobei sich die vorletzte Gleichheit aus (43) und die letzte Gleichheit aus Lemma 4.3 ergibt.
• Die erneute Anwendung von (43) liefert die Varianzformel (42).
• Es ist nun noch zu zeigen, daß der Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ die kleinste Varianz in der Klasse aller linearen erwartungstreuen Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ hat.
• Sei ${\mathbf{b}}^\top\in\mathbb{R}^n$ ein $n$-dimensionaler Vektor, so daß ${\mathbf{b}}^\top{\mathbf{Y}}$ ein linearer erwartungstreuer Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ist. Dann gilt
  $${\mathbb{E}\,}\bigl({\mathbf{b}}^\top{\mathbf{Y}}\bigr)={\mathbf{b}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{a}}^\top{\boldsymbol{\beta}}$$
  für jedes ${\boldsymbol{\beta}}^\top\in\mathbb{R}^m$, und somit auch

  $${\mathbf{b}}^\top{\mathbf{X}}={\mathbf{a}}^\top\,.$$ (44)

  
  

• Für die Kovarianz von ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ und ${\mathbf{b}}^\top{\mathbf{Y}}$ gilt
  $${\rm Cov\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}},\... ...}} =\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}}\,,$$
  wobei sich die letzte Gleichheit aus (44) ergibt.
• Hieraus und aus (42) folgt, daß
  

  $$\le {\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}-{\mathbf{b}}^\top{\mathbf{Y}}\bigr)$$ 0

  $$= {\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\b... ...hbf{a}}^\top\overline{\boldsymbol{\beta}},\,{\mathbf{b}}^\top{\mathbf{Y}}\bigr)$$

  $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...bigr)-2\,\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}}$$

  $$= {\rm Var\,}\bigl( {\mathbf{b}}^\top{\mathbf{Y}}\bigr)-\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}}$$

  $$= {\rm Var\,}\bigl( {\mathbf{b}}^\top{\mathbf{Y}}\bigr)-{\rm Var\,}\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}} \bigr)\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Im Beweis von Theorem 4.8 wurde nirgendwo explizit genutzt, daß ${\,{\rm rg}}({\mathbf{X}})<m$.
• Mit anderen Worten: Falls die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. ${\,{\rm rg}}({\mathbf{X}})=m$, dann ist ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ für jeden $m$-dimensionalen Vektor ${\mathbf{a}}^\top\in\mathbb{R}^m$ erwartungstreu schätzbar, und ${\mathbf{a}}^\top\widehat{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ ist ein BLUE-Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$.

Aus der folgenden Invarianzeigenschaft der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ von ${\mathbf{X}}^\top{\mathbf{X}}$ ergibt sich, daß der in Theorem 4.8 betrachtete BLUE-Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ nicht von der spezifischen Wahl von $({\mathbf{X}}^\top{\mathbf{X}})^-$ abhängt.

Lemma 4.6   $\;$ Seien ${\mathbf{A}}$ und ${\mathbf{A}}^\prime$ beliebige verallgemeinerte Inverse der Matrix ${\mathbf{X}}^\top{\mathbf{X}}$. Dann gilt

$${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}{\mathbf{A}}^\prime{\mathbf{X}}^\top\,.$$ (45)

Beweis

 

• Im Beweis von Theorem 4.6 hatten wir gezeigt (vgl. (39)), daß

  $${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}={\mathbf{X}} {\mathbf{A}}^\prime{\mathbf{X}}^\top{\mathbf{X}}$$ (46)

  
  
  für beliebige verallgemeinerte Inverse ${\mathbf{A}}$ und ${\mathbf{A}}^\prime$ der Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ gilt.
• Wenn diese Gleichungskette von rechts mit ${\mathbf{A}}{\mathbf{X}}^\top$ multipliziert wird, dann ergibt sich

  $${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}... ...\mathbf{A}}^\prime{\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top\,.$$ (47)

  
  

• Außerdem hatten wir in Lemma 4.3 gezeigt, daß ${\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}^\top$ für jede verallgemeinerte Inverse ${\mathbf{A}}$ von ${\mathbf{X}}^\top{\mathbf{X}}$ gilt.
• Hieraus und aus der ersten Gleichheit in (46) ergibt sich nun, daß (47) gleichbedeutend ist mit
  $${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}{\mathbf{A}}^\prime{\mathbf{X}}^\top\,.$$
  
   
    $\Box$
  
  
  

Mit Hilfe von Lemma 4.6 kann nun die obenerwähnte Invarianzeigenschaft des in Theorem 4.8 betrachteten BLUE-Schätzers ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ bewiesen werden.

Theorem 4.9   $\;$ Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$. Dann hängt der BLUE-Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ nicht von der Wahl der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ ab.

Beweis

 

• Weil ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion von ${\boldsymbol {\beta }}$ ist, ergibt sich aus Theorem 4.6, daß ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$ für einen $n$-dimensionalen Vektor ${\mathbf{c}}=(c_1,\ldots,c_n)^\top$.
• Hieraus und aus Lemma 4.6 folgt, daß
  $${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}= {\mathbf{a}}^\to... ...\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$
  nicht von der Wahl der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ abhängt.
  
  $\Box$

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Für das reparametrisierte Modell der einfaktoriellen Varianzanalyse sind $\mu+\alpha_i$ für $i=1,\ldots,k$ bzw. $\alpha_i-\alpha_{i^\prime}$ für $i,i^\prime=1,\ldots,k$ mit $i\not=i^\prime$ schätzbare Funktionen von ${\boldsymbol {\beta }}$, vgl. Theorem 4.7 bzw. Übungsaufgabe 11.1.
• Aus dem Gauß-Markov-Theorem (d.h. aus Theorem 4.8) ergibt sich nun, daß $\widehat\mu+\widehat\alpha_i$ bzw. $\widehat\alpha_i-\widehat\alpha_{i^\prime}$ BLUE-Schätzer für $\mu+\alpha_i$ für $i=1,\ldots,k$ bzw. $\alpha_i-\alpha_{i^\prime}$ sind, wobei
  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\m... ...top{\mathbf{Y}}=( \widehat\mu,\widehat\alpha_1,\ldots,\widehat\alpha_k)^\top$$
  mit $\widehat\mu=\overline Y_{\cdot\cdot}$ bzw. $\widehat\alpha_i =\overline Y_{i\,\cdot}-\overline Y_{\cdot\cdot}$ die Lösung der Normalengleichungen (19) ist, die bereits in Abschnitt 4.2.1 betrachtet wurde.

Beispiel

$\;$ (zweifaktorielle Varianzanalyse mit balancierten Teilstichproben)

• Für das in Abschnitt 4.1.2 eingeführte balancierte Modell der zweifaktoriellen Varianzanalyse mit balancierten Teilstichproben sind die linearen Funktionen $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ des Parametervektors ${\boldsymbol{\beta}}=\bigl(\mu,\alpha^{(1)}_1,\ldots, \alpha^{(1)}_{k_1},\alpha^{(2)}_1,\ldots, \alpha^{(2)}_{k_2},\alpha_{11},\ldots,\alpha_{k_1k_2}\bigr)$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$ erwartungstreu schätzbar, vgl. Theorem 4.7.
• Aus Theorem 4.8 ergibt sich, daß $\widehat\mu+ \widehat\alpha^{(1)}_{i_1}+\widehat\alpha^{(2)}_{i_2}+\widehat\alpha_{i_1i_2}$ ein BLUE-Schätzer für $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ ist, wobei
  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\m... ...at\alpha^{(2)}_{k_2},\widehat\alpha_{11},\ldots,\widehat\alpha_{k_1k_2}\bigr)$$
  mit
  $$\widehat\mu=\overline Y_{\cdot\cdot\cdot}\,,\qquad \widehat\alph... ...e Y_{i_1i_2\cdot}-\overline Y_{i_1\cdot\cdot}-\overline Y_{\cdot\,i_2\cdot}$$
  die bereits in Abschnitt 4.2.2 betrachtete Lösung der Normalengleichungen (19) ist.
• Darüber hinaus ergibt sich aus Theorem 4.7, daß im Modell der zweifaktoriellen Varianzanalyse ohne Wechselwirkungen, d.h. $\alpha_{i_1i_2}=0$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$, auch $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ für beliebige $i_1,i_1^\prime =1,\ldots,k_1$ mit $i_1\not=i_1^\prime$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ für beliebige $i_2,i_2^\prime=1,\ldots,k_2$ mit $i_2\not=i_2^\prime$ erwartungstreu schätzbar sind.
• Aus Theorem 4.8 folgt somit, daß $\widehat\alpha^{(1)}_{i_1}-\widehat\alpha^{(1)}_{i_1^\prime}$ bzw. $\widehat\alpha^{(2)}_{i_2}-\widehat\alpha^{(2)}_{i_2^\prime}$ BLUE-Schätzer für $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ sind.