Beste lineare erwartungstreue Schätzer; Gauß-Markow-Theorem

• In diesem Abschnitt zeigen wir, wie BLUE-Schätzer für schätzbare Funktionen des Parametervektors ${\boldsymbol {\beta }}$ konstruiert werden können.
• Zur Erinnerung: Ein linearer erwartungstreuer Schätzer wird BLUE-Schätzer genannt, wenn es keinen linearen erwartungstreuen Schätzer gibt, dessen Varianz kleiner ist (BLUE = best linear unbiased estimator).
• In der Theorie linearer Modelle wird das folgende Resultat das Gauß-Markow-Theorem genannt.

Theorem 3.11    

• Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$, sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige verallgemeinerte Inverse der $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$, und sei $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$.
• Dann ist ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ ein BLUE-Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$, wobei

  $${\rm Var }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\bigr)=\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}} .$$ (50)

  
  

Beweis

 

• Wir zeigen zuerst, dass ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ ein linearer erwartungstreuer Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ist.
  • Es ist klar, dass
    $${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$
    eine lineare Funktion der Zufallsstichprobe ${\mathbf{Y}}=(Y_1,\ldots,Y_n)$ ist.
  • Weil vorausgesetzt wird, dass ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$ ist, folgt aus Theorem 3.9, dass es ein ${\mathbf{c}}\in\mathbb{R}^n$ gibt, so dass

    $${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}} .$$ (51)

    
    

  • Somit gilt für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$, dass
    $${\mathbb{E} }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}... ...^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{a}}^\top{\boldsymbol{\beta}} ,$$
    wobei sich die vorletzte Gleichheit aus Lemma 3.6 ergibt.
  • Damit ist gezeigt, dass ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ ein linearer erwartungstreuer Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ist.
• Aus den Rechenregeln für die Varianz (vgl. Theorem WR-4.13) ergibt sich, dass
  $${\rm Var }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\b... ...sum\limits_{j=1}^m a_i a_j \;{\rm Cov }(\overline\beta_i,\overline\beta_j) .$$
  • Außerdem hatten wir in Theorem 3.7 gezeigt, dass
    $${\rm Cov }(\overline\beta_i,\overline\beta_j)= \sigma^2 \bigl(({... ...p {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij} .$$

  • Hieraus folgt, dass
    

    $${\rm Var }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}\bigr) = \sigma^2\sum\limits_{i=1}^m\sum\limits_{j=1}^m a_i a_j\bigl(({\ma... ...^\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij}$$

    $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top{\mathbf{a}}$$

    $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top{\mathbf{X}}^\top{\mathbf{c}}$$

    $$= \sigma^2{\mathbf{a}}^\top ({\mathbf{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{c}} ,$$

    
    
    wobei sich die vorletzte Gleichheit aus (51) und die letzte Gleichheit aus Lemma 3.5 ergibt.
  • Die erneute Anwendung von (51) liefert die Varianzformel (50).
• Es ist noch zu zeigen, dass der Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ die kleinste Varianz in der Klasse aller linearen erwartungstreuen Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ hat.
  • Sei ${\mathbf{b}}\in\mathbb{R}^n$, so dass ${\mathbf{b}}^\top{\mathbf{Y}}$ ein linearer erwartungstreuer Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ ist. Dann gilt
    $${\mathbf{a}}^\top{\boldsymbol{\beta}}={\mathbb{E} }\bigl({\mathb... ...hbf{X}}{\boldsymbol{\beta}} \qquad\forall\;{\boldsymbol{\beta}}\in\mathbb{R}^m$$
    und somit auch

    $${\mathbf{b}}^\top{\mathbf{X}}={\mathbf{a}}^\top .$$ (52)

    
    

  • Für die Kovarianz von ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ und ${\mathbf{b}}^\top{\mathbf{Y}}$ gilt
    $${\rm Cov }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}},\... ...b}} =\sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}} ,$$
    wobei sich die letzte Gleichheit aus (52) ergibt.
  • Hieraus und aus der Varianzformel (50) folgt, dass
    

    $$\le {\rm Var }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}}-{... ...hbf{a}}^\top\overline{\boldsymbol{\beta}}, {\mathbf{b}}^\top{\mathbf{Y}}\bigr)$$ 0

    $$= \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathb... ...bigr)-2 \sigma^2{\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{a}}$$

    $$= {\rm Var }\bigl( {\mathbf{b}}^\top{\mathbf{Y}}\bigr)-\sigma^2{\m... ...bigr)-{\rm Var }\bigl({\mathbf{a}}^\top\overline{\boldsymbol{\beta}} \bigr) .$$

    
    
    
     
      $\Box$
    
    
    

Beachte

 

• Im Beweis von Theorem 3.11 wurde nirgendwo explizit genutzt, dass ${ {\rm rg}}({\mathbf{X}})<m$.
• Mit anderen Worten: Wenn die Designmatrix ${\mathbf{X}}$ vollen Rang hat, d.h. ${ {\rm rg}}({\mathbf{X}})=m$, dann ist ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ für jeden $m$-dimensionalen Vektor ${\mathbf{a}}^\top\in\mathbb{R}^m$ erwartungstreu schätzbar, und ${\mathbf{a}}^\top\widehat{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ ist ein BLUE-Schätzer für ${\mathbf{a}}^\top{\boldsymbol{\beta}}$.

Aus der folgenden Invarianzeigenschaft der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ von ${\mathbf{X}}^\top{\mathbf{X}}$ ergibt sich, dass der in Theorem 3.11 betrachtete BLUE-Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ nicht von der spezifischen Wahl von $({\mathbf{X}}^\top{\mathbf{X}})^-$ abhängt.

Lemma 3.7   $\;$ Seien ${\mathbf{A}}$ und ${\mathbf{A}}^\prime$ beliebige verallgemeinerte Inverse der Matrix ${\mathbf{X}}^\top{\mathbf{X}}$. Dann gilt

$${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}{\mathbf{A}}^\prime{\mathbf{X}}^\top .$$ (53)

Beweis

 

• In Lemma 3.6 hatten wir gezeigt, dass

  $${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}={\mathbf{X}} {\mathbf{A}}^\prime{\mathbf{X}}^\top{\mathbf{X}}$$ (54)

  
  
  für beliebige verallgemeinerte Inverse ${\mathbf{A}}$ und ${\mathbf{A}}^\prime$ der Matrix ${\mathbf{X}}^\top{\mathbf{X}}$.
• Wenn diese Gleichungskette von rechts mit ${\mathbf{A}}{\mathbf{X}}^\top$ multipliziert wird, dann ergibt sich

  $${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}... ...\mathbf{A}}^\prime{\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top .$$ (55)

  
  

• Aus (54) ergibt sich für die linke Seite der letzten Gleichheit, dass ${\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top{\mathbf{X}} {\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top$.
• Außerdem hatten wir in Lemma 3.5 gezeigt, dass ${\mathbf{X}}^\top{\mathbf{X}}{\mathbf{A}}{\mathbf{X}}^\top={\mathbf{X}}^\top$ für jede verallgemeinerte Inverse ${\mathbf{A}}$ von ${\mathbf{X}}^\top{\mathbf{X}}$ gilt.
• Wenn dies in die rechte Seite von (55) eingesetzt wird, dann ergibt sich (53).
  
  $\Box$

Mit Hilfe von Lemma 3.7 kann nun die oben erwähnte Invarianzeigenschaft des in Theorem 3.11 betrachteten BLUE-Schätzers ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}$ bewiesen werden.

Theorem 3.12   $\;$ Sei ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ eine schätzbare Funktion des Parametervektors ${\boldsymbol {\beta }}$. Dann hängt der BLUE-Schätzer ${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}={\mathbf{a}}^\top({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ nicht von der Wahl der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ ab.

Beweis

 

• Zur Erinnerung: Für jede schätzbare Funktion ${\mathbf{a}}^\top{\boldsymbol{\beta}}$ von ${\boldsymbol {\beta }}$ ergibt sich aus Theorem 3.9, dass ${\mathbf{a}}^\top={\mathbf{c}}^\top{\mathbf{X}}$ für ein ${\mathbf{c}}\in\mathbb{R}^n$.
• Hieraus und aus Lemma 3.7 folgt, dass
  $${\mathbf{a}}^\top\overline{\boldsymbol{\beta}}= {\mathbf{a}}^\top... ...\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$
  nicht von der Wahl der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ abhängt.
  
  $\Box$

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Für das reparametrisierte Modell der einfaktoriellen Varianzanalyse sind $\mu+\alpha_i$ für $i=1,\ldots,k$ bzw. $\alpha_i-\alpha_{i^\prime}$ für $i,i^\prime=1,\ldots,k$ mit $i\not=i^\prime$ schätzbare Funktionen von ${\boldsymbol {\beta }}$, vgl. Theorem 3.10.
• Aus Theorem 3.11 ergibt sich, dass $\widehat\mu+\widehat\alpha_i$ bzw. $\widehat\alpha_i-\widehat\alpha_{i^\prime}$ BLUE-Schätzer für $\mu+\alpha_i$ bzw. $\alpha_i-\alpha_{i^\prime}$ sind, wobei
  $$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\... ...^\top{\mathbf{Y}}=( \widehat\mu,\widehat\alpha_1,\ldots,\widehat\alpha_k)^\top$$
  mit $\widehat\mu=\overline Y_{\cdot\cdot}$ bzw. $\widehat\alpha_i =\overline Y_{i \cdot}-\overline Y_{\cdot\cdot}$ die Lösung der Normalengleichung (24) ist, die bereits in Abschnitt 3.2.1 betrachtet wurde.

Beispiel

$\;$ (zweifaktorielle Varianzanalyse mit balancierten Teilstichproben)

• Für das in Abschnitt 3.1.3 eingeführte balancierte Modell der zweifaktoriellen Varianzanalyse mit balancierten Teilstichproben sind die linearen Funktionen $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ des Parametervektors ${\boldsymbol{\beta}}=\bigl(\mu,\alpha^{(1)}_1,\ldots, \alpha^{(1)}_{k_1},\alpha^{(2)}_1,\ldots, \alpha^{(2)}_{k_2},\alpha_{11},\ldots,\alpha_{k_1k_2}\bigr)$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$ erwartungstreu schätzbar, vgl. Theorem 3.10.
• Aus Theorem 3.11 ergibt sich, dass $\widehat\mu+ \widehat\alpha^{(1)}_{i_1}+\widehat\alpha^{(2)}_{i_2}+\widehat\alpha_{i_1i_2}$ ein BLUE-Schätzer für $\mu+ \alpha^{(1)}_{i_1}+\alpha^{(2)}_{i_2}+\alpha_{i_1i_2}$ ist, wobei
  $$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\... ...hat\alpha^{(2)}_{k_2},\widehat\alpha_{11},\ldots,\widehat\alpha_{k_1k_2}\bigr)$$
  mit
  $$\widehat\mu=\overline Y_{\cdot\cdot\cdot} ,\qquad \widehat\alpha... ...line Y_{i_1i_2\cdot}-\overline Y_{i_1\cdot\cdot}-\overline Y_{\cdot i_2\cdot}$$
  die bereits in Abschnitt 3.2.3 betrachtete Lösung der Normalengleichung (24) ist.
• Darüber hinaus ergibt sich aus Theorem 3.10, dass im Modell der zweifaktoriellen Varianzanalyse ohne Wechselwirkungen, d.h. $\alpha_{i_1i_2}=0$ für beliebige $i_1=1,\ldots,k_1,\; i_2=1,\ldots,k_2$, auch $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ für beliebige $i_1,i_1^\prime =1,\ldots,k_1$ mit $i_1\not=i_1^\prime$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ für beliebige $i_2,i_2^\prime=1,\ldots,k_2$ mit $i_2\not=i_2^\prime$ erwartungstreu schätzbar sind.
• Aus Theorem 3.11 folgt somit, dass $\widehat\alpha^{(1)}_{i_1}-\widehat\alpha^{(1)}_{i_1^\prime}$ bzw. $\widehat\alpha^{(2)}_{i_2}-\widehat\alpha^{(2)}_{i_2^\prime}$ BLUE-Schätzer für $\alpha^{(1)}_{i_1}-\alpha^{(1)}_{i_1^\prime}$ bzw. $\alpha^{(2)}_{i_2}-\alpha^{(2)}_{i_2^\prime}$ sind.