Methode der kleinsten Quadrate; verallgemeinerte Inverse

• Um einen MKQ-Schätzer für den Parametervektor ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ zu konstruieren, bestimmen wir ähnlich wie in Abschnitt 3.1.2 einen Vektor $\overline{\boldsymbol{\beta}}=(\overline\beta_1,\ldots,\overline\beta_m)^\top$, so daß der mittlere quadratische Fehler

  $$e({\boldsymbol{\beta}})=\frac{1}{n}\sum\limits_{i=1}^n\bigl(Y_i-(\beta_1 x_{i1}+\beta_2 x_{i2}+\ldots+\beta_m x_{im})\bigr)^2$$ (17)

  
  
  für ${\boldsymbol{\beta}}=\overline{\boldsymbol{\beta}}$ minimal wird.
• Aus (17) folgt, daß jedes solche Extremum ${\boldsymbol {\beta }}$ der Vektorgleichung

  $$\frac{\partial e({\boldsymbol{\beta}})}{\partial{\boldsymbol{\bet... ...bol{\beta}}^\top{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}\Bigr)= {\bf0}$$ (18)

  
  
  genügen muß.
• Die Berechnung der partiellen Ableitungen in (18) ergibt somit, daß jeder Vektor ${\boldsymbol {\beta }}$, für den der in (17) gegebene mittlere quadratische Fehler $e({\boldsymbol{\beta}})$ minimal ist, eine Lösung des folgenden Gleichungssystems sein muß:
  $$-{\mathbf{X}}^\top{\mathbf{Y}}+{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}= {\bf0}\,.$$

• Mit anderen Worten: Jedes solche Extremum ${\boldsymbol {\beta }}$ genügt den sogenannten Normalengleichungen

  $${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}}\,.$$ (19)

  
  

Beachte

 

• Weil wir in diesem Abschnitt annehmen, daß die Designmatrix ${\mathbf{X}}$ keinen vollen Rang besitzt, ist die $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ nicht invertierbar, denn es gilt ${\,{\rm rg}}\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)\le{\,{\rm rg}}({\mathbf{X}})<m$.
• Die Normalengleichungen (19) besitzen deshalb keine eindeutig bestimmte Lösung.
• Um die Lösungsmenge des Gleichungssystems (19) zu beschreiben, betrachten wir den Begriff der verallgemeinerten inversen Matrix.

Definition

$\;$ Eine $m\times n$ Matrix ${\mathbf{A}}^-$ heißt verallgemeinerte Inverse der $n\times m$ Matrix ${\mathbf{A}}$, falls

$${\mathbf{A}}{\mathbf{A}}^-{\mathbf{A}}={\mathbf{A}}\,.$$ (20)

Um zu zeigen, daß es immer eine Lösung ${\mathbf{A}}^-$ der Definitionsgleichung (20) gibt, benutzen wir die folgende allgemeine Matrix-Darstellungsformel, die wir hier ohne Beweis angeben.

Lemma 4.1    

• Sei ${\mathbf{A}}$ eine $n\times m$ Matrix mit $n\ge m$ und ${\,{\rm rg}}({\mathbf{A}})=r\le m$.
• Dann gibt es reguläre $n\times n$ bzw. $m\times m$ Matrizen ${\mathbf{P}}$ bzw. ${\mathbf{Q}}$, so daß

  $${\mathbf{P}}{\mathbf{A}}{\mathbf{Q}}=\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right) \qquad {\mathbf{A}}={\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1}\,.$$ (21)

  
  

Mit Hilfe von Lemma 4.1 kann man nun zeigen, wie man zu Lösungen ${\mathbf{A}}^-$ von (20) gelangen kann.

Lemma 4.2   Sei ${\mathbf{A}}$ eine $n\times m$ Matrix mit $n\ge m$ und ${\,{\rm rg}}({\mathbf{A}})=r\le m$. Dann gibt es für jedes $k\in\{r,\ldots,m\}$ eine $m\times n$ Matrix ${\mathbf{A}}^-$ mit ${\,{\rm rg}}({\mathbf{A}}^-)=k$, die der Gleichung $(\ref{def.ver.inv})$ genügt.

Beweis

 

• Seien ${\mathbf{P}}$ und ${\mathbf{Q}}$ die gleichen Matrizen wie in Lemma 4.1, und sei ${\mathbf{B}}$ eine beliebige $m\times n$ Matrix mit

  $${\mathbf{B}}={\mathbf{Q}}\left(\begin{array}{cc} {\mathbf{I}}_r & {\mathbf{R}}\\ {\mathbf{S}}& {\mathbf{T}}\end{array}\right){\mathbf{P}}\,,$$ (22)

  
  
  wobei ${\mathbf{R}}$, ${\mathbf{S}}$, ${\mathbf{T}}$ beliebige Matrizen sind mit den Dimensionen $r\times (n-r)$, $(m-r)\times r$ bzw. $(m-r)\times (n-r)$.
• Dann ergibt sich aus (21) und (22), daß
  

  $${\mathbf{A}}{\mathbf{B}}{\mathbf{A}} = {\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\... ... {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1}$$

  $$= {\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\... ... {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1}$$

  $$= {\mathbf{A}}\,,$$

  
  
  d.h., die in (22) gegebene Matrix ist eine verallgemeinerte Inverse von ${\mathbf{A}}$.
• Sei nun $k\in\{r,\ldots,m\}$ eine beliebige natürliche Zahl. Setzt man dann beispielsweise
  $${\mathbf{R}}={\bf0}\,$$   und$$\qquad{\mathbf{S}}={\bf0}\qquad\mbox{und}\qquad {\mathbf{T}}=\lef... ...ay}{cc} {\mathbf{I}}_{k-r} & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right)\,,$$
  dann gilt ${\,{\rm rg}}({\mathbf{B}})=k$.
  
  $\Box$

Außerdem sind die folgenden Eigenschaften der verallgemeinerten Inversen nützlich.

Lemma 4.3    

• Sei ${\mathbf{A}}$ eine beliebige $n\times m$ Matrix mit $n\ge m$, und sei $\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-$ eine verallgemeinerte Inverse der symmetrischen $m\times m$ Matrix ${\mathbf{A}}^\top{\mathbf{A}}$.
• Dann ist auch die transponierte Matrix $\bigl(\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\bigr)^\top$ eine verallgemeinerte Inverse von ${\mathbf{A}}^\top{\mathbf{A}}$.
• Außerdem gilt

  $${\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top={\mathbf{A}}^\top\,.$$ (23)

  
  

Beweis

 

• Definitionsgemäß gilt für die verallgemeinerte Inverse, daß
  $${\mathbf{A}}^\top{\mathbf{A}} \bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top{\mathbf{A}}={\mathbf{A}}^\top{\mathbf{A}}\,.$$

• Hieraus und aus der Symmetrie der Matrix ${\mathbf{A}}^\top{\mathbf{A}}$ ergibt sich, daß
  

  $${\mathbf{A}}^\top{\mathbf{A}} = \bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^\top$$

  $$= \Bigl({\mathbf{A}}^\top{\mathbf{A}} \bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top{\mathbf{A}}\Bigr)^\top$$

  $$= {\mathbf{A}}^\top{\mathbf{A}} \Bigl(\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}}\,,$$

  
  
  d.h. die transponierte Matrix $\bigl(\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\bigr)^\top$ ist ebenfalls eine verallgemeinerte Inverse von ${\mathbf{A}}^\top{\mathbf{A}}$.
• Um die zweite Teilaussage (23) zu beweisen, betrachten wir die Matrix
  $${\mathbf{B}}={\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top-{\mathbf{A}}^\top\,.$$

• Dann gilt
  

  $${\mathbf{B}}{\mathbf{B}}^\top = \Bigl({\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathb... ...thbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top-{\mathbf{A}}^\top\Bigr)^\top$$

  $$= {\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\... ...l({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}}$$

  $$- {\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}... ...}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}}+{\mathbf{A}}^\top{\mathbf{A}}$$

  $$= {\mathbf{A}}^\top{\mathbf{A}}-{\mathbf{A}}^\top{\mathbf{A}}-{\mathbf{A}}^\top{\mathbf{A}}+{\mathbf{A}}^\top{\mathbf{A}} ={\bf0}\,.$$

  
  

• Hieraus folgt, daß ${\mathbf{B}}={\bf0}$.
  
  $\Box$

In der Theorie linearer algebraischer Gleichungssysteme wird gezeigt, daß die Lösungsmenge der Normalengleichungen (19) die folgende Gestalt besitzt.

Theorem 4.3   Die allgemeine Lösung ${\boldsymbol {\beta }}$ der Normalengleichungen $(\ref{for.nor.gle})$ hat die Form

$${\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}... ...thbf{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}\,,$$ (24)

wobei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige Lösung der Gleichung

$$({\mathbf{X}}^\top{\mathbf{X}})({\mathbf{X}}^\top{\mathbf{X}})^-({\mathbf{X}}^\top{\mathbf{X}})=({\mathbf{X}}^\top{\mathbf{X}})$$ (25)

und ${\mathbf{z}}\in\mathbb{R}^m$ ein beliebiger $m$-dimensionaler Vektor ist.

Beweis

 

• Durch Einsetzen von (24) in die linke Seite der Normalengleichungen (19) erkennt man mühelos, daß durch (24) eine Lösung von (19) gegeben ist, denn es gilt
  

  $${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}} = {\mathbf{X}}^\top{\mathbf{X}}\Bigl(({\mathbf{X}}^\top{\mathbf{X}}... ...f{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}\Bigr)$$

  $$= {\mathbf{X}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$

  $$= {\mathbf{X}}^\top{\mathbf{Y}}\,,$$

  
  
  wobei sich die letzte Gleichheit aus Lemma 4.3 ergibt.
• Der Beweis, daß durch den Ansatz (24) sämtliche Lösungen von (19) gegeben sind, wird in den Übungen diskutiert, vgl. Übungsaufgabe 10.3.
  
  $\Box$

Beachte

 

• Aus (24) ergibt sich insbesondere, daß ${\boldsymbol{\beta}}=\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$ die eindeutig bestimmte Lösung von (19) ist, falls ${\,{\rm rg}}({\mathbf{X}})=m$.
• Denn dann gilt auch ${\,{\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})=m$, und $({\mathbf{X}}^\top{\mathbf{X}})^-=({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ ist die (eindeutig bestimmte) Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$.

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Zur Erinnerung: Im reparametrisierten Modell der einfaktoriellen Varianzanalyse (vgl. Fall $2$ des in Abschnitt 4.1.1 betrachteten Beispiels) ist die Designmatrix gegeben durch die $n\times (k+1)$ Matrix

  $${\mathbf{X}}=\left(\begin{array}{ccccccc} 1 & 1 & 0 & 0 &\ldots &... ...dots & &\vdots & \vdots\\ 1 & 0 & 0 & 0 & \ldots & 0 & 1 \end{array}\right)\,,$$ (26)

  
  
  und der Parametervektor ${\boldsymbol {\beta }}$ ist gegeben durch ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)^\top$.
• Man kann sich leicht überlegen (vgl. Übungsaufgabe 11.1), daß

  $${\mathbf{X}}^\top {\mathbf{X}}=\left(\begin{array}{ccccccc} n & n... ...ts & & \vdots & \vdots\\ n_k & 0 & 0 & 0 & \ldots & 0 & n_k \end{array}\right)$$ (27)

  
  
  und daß eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ gegeben ist durch

  $$\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-=\left(\begin{array}{r... ...{n} & 0 & 0 & 0 & \ldots & 0 & \displaystyle\frac{1}{n_k} \end{array}\right)\,.$$ (28)

  
  

• Die Normalengleichungen (19), d.h. ${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}}$, besitzen somit die folgende Gestalt:
  

  $$n\mu+\sum\limits_{i=1}^k n_i\alpha_i = Y_{\cdot\cdot}$$

  $$n_i\mu+n_i\alpha_i = Y_{i\,\cdot}\,,\qquad\forall\, i=1,\ldots,k\,.$$

  
  

• Wenn wir die Lösungen dieses Gleichungssystems lediglich in dem eingeschränkten Parameterraum $\Theta\subset\mathbb{R}^m$ suchen, wobei

  $$\Theta=\Bigl\{{\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k):\,\sum\limits_{i=1}^k n_i\alpha_i=0\Bigr\}\,,$$ (29)

  
  
  dann ergibt sich die (eindeutig bestimmte) Lösung $\widehat{\boldsymbol{\beta}}=( \widehat\mu,\widehat\alpha_1,\ldots,\widehat\alpha_k)$ mit

  $$\begin{array}{ll} \widehat\mu & = \;\;\;\overline Y_{\cdot\cd... ...ne Y_{\cdot\cdot}\,,\qquad\forall\, i=1,\ldots,k\,. \end{array}$$ (30)

  
  

• Man kann sich leicht überlegen (vgl. Übungsaufgabe 11.1), daß die in (30) gegebene Lösung $\widehat{\boldsymbol{\beta}}$ der Normalengleichungen ${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}}$
  • die Gestalt $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ hat, wobei die verallgemeinerte Inverse $({\mathbf{X}}^\top{\mathbf{X}})^-$ durch (28) gegeben ist, und
  • ein erwartungstreuer Schätzer für ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)$ bezüglich des eingeschränkten Parameterraumes $\Theta$ ist, der in (29) gegeben ist.
• Ohne die in (29) betrachtete Nebenbedingung gibt es jedoch keinen MKQ-Schätzer für ${\boldsymbol {\beta }}$, der gleichzeitig erwartungstreu ist, vgl. die Diskussion am Ende von Abschnitt 4.2.1.

Für das in (1) - (3) gegebene lineare Modell mit allgemeiner Designmatrix ${\mathbf{X}}$ betrachten wir nun eine beliebige verallgemeinerte Inverse $({\mathbf{X}}^\top{\mathbf{X}})^-$ der $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ und konstruieren eine Klasse von MKQ-Schätzern für den Parametervektor ${\boldsymbol {\beta }}$.

Theorem 4.4   $\;$ Sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige Lösung der Gleichung $(\ref{bel.loe.gle})$. Dann minimiert die Stichprobenfunktion

$$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$ (31)

den in $(\ref{mul.qua.pri.pri})$ gegebenen mittleren quadratischen Fehler $e({\boldsymbol{\beta}})$, d.h., $\overline{\boldsymbol{\beta}}$ ist ein MKQ-Schätzer für ${\boldsymbol {\beta }}$.

Beweis

 

• Für jeden $m$-dimensionalen Vektor ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ gilt
  

  $$n\, e({\boldsymbol{\beta}}) = ({\mathbf{Y}}-{\mathbf{X}}{\boldsymbol{\beta}})^\top({\mathbf{Y}}-{\mathbf{X}}{\boldsymbol{\beta}})$$

  $$= \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}} +{\m... ...\beta}} +{\mathbf{X}}(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})\bigr)$$

  $$= \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr... ...athbf{X}}^\top{\mathbf{X}} (\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})$$

  $$\ge \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr... ...ine{\boldsymbol{\beta}}\bigr) =n\,e\bigl(\overline{\boldsymbol{\beta}}\bigr)\,,$$

  
  
  weil
  $$(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})^\top {\mathb... ...l({\mathbf{X}}(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})\Bigr)\ge 0$$
  und
  $$(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})^\top {\math... ...{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr){\mathbf{Y}}=0\,,$$
  wobei sich die letzte Gleichheit aus Lemma 4.3 ergibt.
  
  $\Box$

Aus den Modellannahmen (3) über die Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ und aus den allgemeinen Rechenregeln für den Erwartungswert bzw. die Kovarianz von reellwertigen Zufallsvariablen (vgl. die Abschnitte WR-4.1.3 bzw. WR-4.3.2) ergibt sich, daß Erwartungswertvektor und Kovarianzmatrix des MKQ-Schätzers $\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ die folgende Form haben.

Theorem 4.5   $\;$ Es gilt

$${\mathbb{E}\,}\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$$ (32)

und

$${\rm Cov\,}\overline{\boldsymbol{\beta}}= \sigma^2({\mathbf{X}}^\... ...athbf{X}}^\top{\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\,.$$ (33)

Beweis

 

• Aus ${\mathbf{Y}}={\mathbf{X}}{\boldsymbol{\beta}}+{\boldsymbol{\varepsilon }}$ und ${\mathbb{E}\,}{\boldsymbol{\varepsilon }}={\mathbf{o}}$ ergibt sich, daß
  $${\mathbb{E}\,} \overline{\boldsymbol{\beta}}={\mathbb{E}\,}\Bigl(... ...f{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}\,.$$

• Außerdem gilt für beliebige $i,j\in\{1,\ldots,m\}$
  

  $${\rm Cov\,}\bigl(\overline\beta_i,\,\overline\beta_j\bigr) = {\rm Cov\,}\Bigl(\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\... ...}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{jr}Y_r\Bigr)$$

  $$= \sum\limits_{\ell=1}^n\sum\limits_{r=1}^n\bigl(({\mathbf{X}}^\top... ...f{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{jr}{\rm Cov\,}(Y_\ell,\, Y_r)$$

  $$= \sigma^2\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}... ..._{i\ell} \bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr)_{j\ell}$$

  $$= \sigma^2\sum\limits_{\ell=1}^n\bigl(({\mathbf{X}}^\top{\mathbf{X}... ...l({\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{\ell j}$$

  $$= \sigma^2 \bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top {\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\bigr)_{ij}\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Aus (32) ergibt sich insbesondere, daß der in (31) gegebene MKQ-Schätzer $\overline{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ nicht erwartungstreu ist.
• Um dies zu zeigen, ist die folgende Eigenschaft des Ranges von Matrixprodukten nützlich, die wir hier ohne Beweis erwähnen.

Lemma 4.4   Seien $m,n,r\in\mathbb{N}$ beliebige natürliche Zahlen, und seien ${\mathbf{A}},{\mathbf{B}}$ beliebige $m\times n$ bzw. $n\times r$ Matrizen. Dann gilt

$${\,{\rm rg}}({\mathbf{A}}{\mathbf{B}})\le\min\{{\,{\rm rg}}({\mathbf{A}}),{\,{\rm rg}}({\mathbf{B}})\}\,.$$ (34)

Wir zeigen nun, daß es keinen MKQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist. Insbesondere ist der in (31) gegebene MKQ-Schätzer $\overline{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ nicht erwartungstreu.

• Weil wir voraussetzen, daß ${\,{\rm rg}}({\mathbf{X}})<m$, ergibt sich aus Lemma 4.4, daß auch ${\,{\rm rg}}({\mathbf{X}}^\top{\mathbf{X}})<m$ bzw.
  $${\,{\rm rg}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}\bigr)<m\,.$$

• Es gibt also ein ${\boldsymbol{\beta}}\not={\mathbf{o}}$ mit $({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{o}}$.
• Mit anderen Worten: Die Gleichung $({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\boldsymbol{\beta}}$ gilt nicht für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$, d.h., der in (31) gegebene MKQ-Schätzer $\overline{\boldsymbol{\beta}}$ für ${\boldsymbol {\beta }}$ ist nicht erwartungstreu.
• Hieraus folgt, daß auch für jedes beliebige, jedoch fest vorgegebene ${\mathbf{z}}\in\mathbb{R}^m$ die Gleichung
  $$({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\b... ...f{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}={\boldsymbol{\beta}}$$
  nicht für jedes ${\boldsymbol{\beta}}\in\mathbb{R}^m$ gilt.
• Wegen Theorem 4.3 bedeutet dies, daß es keinen MKQ-Schätzer für ${\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist.