KQ-Schätzer für ${\boldsymbol {\beta }}$

Die folgende Eigenschaft des Ranges von Matrixprodukten ist nützlich, die sich unmittelbar aus der in Lemma 2.3 betrachteten Rangformel ergibt.

Lemma 3.2   Seien $m,n,r\in\mathbb{N}$ beliebige natürliche Zahlen, und seien ${\mathbf{A}},{\mathbf{B}}$ beliebige $m\times n$ bzw. $n\times r$ Matrizen. Dann gilt

$${ {\rm rg}}({\mathbf{A}}{\mathbf{B}})\le\min\{{ {\rm rg}}({\mathbf{A}}),{ {\rm rg}}({\mathbf{B}})\} .$$ (23)

Beachte

 

• Weil wir jetzt annehmen, dass die Designmatrix ${\mathbf{X}}$ keinen vollen Rang besitzt, ist die $m\times m$ Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ nicht invertierbar, denn gemäß Lemma 3.2 gilt ${ {\rm rg}}\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)\le{ {\rm rg}}({\mathbf{X}})<m$.
• Die Normalengleichung (2.9), d.h.,

  $${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}} ,$$ (24)

  
  
  besitzt deshalb keine eindeutig bestimmte Lösung.
• Um die Lösungsmenge der Gleichung (24) zu beschreiben, benötigen wir den Begriff der verallgemeinerten inversen Matrix, vgl. auch Abschnitt 3.4 der Vorlesung ,,Numerik 1a'' von K. Urban (Universität Ulm, Sommersemester 2005).

Definition

$\;$ Eine $m\times n$ Matrix ${\mathbf{A}}^-$ heißt verallgemeinerte Inverse der $n\times m$ Matrix ${\mathbf{A}}$, wenn

$${\mathbf{A}}{\mathbf{A}}^-{\mathbf{A}}={\mathbf{A}} .$$ (25)

Um zu zeigen, dass es immer eine Lösung ${\mathbf{A}}^-$ der Definitionsgleichung (25) gibt, benutzen wir die folgende allgemeine Matrix-Darstellungsformel, die wir hier ohne Beweis angeben.

Lemma 3.3   $\;$ Sei ${\mathbf{A}}$ eine $n\times m$ Matrix mit $n\ge m$ und ${ {\rm rg}}({\mathbf{A}})=r\le m$. Dann gibt es invertierbare $n\times n$ bzw. $m\times m$ Matrizen ${\mathbf{P}}$ bzw. ${\mathbf{Q}}$, so dass

$${\mathbf{P}}{\mathbf{A}}{\mathbf{Q}}=\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0} {\bf0} & {\bf0} \end{array}\right) \qquad {\mathbf{A}}={\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0} {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1} .$$ (26)

Mit Hilfe von Lemma 3.3 kann man zeigen, wie man zu Lösungen ${\mathbf{A}}^-$ von (25) gelangen kann.

• Seien ${\mathbf{P}}$ und ${\mathbf{Q}}$ Matrizen mit den in Lemma 3.3 betrachteten Eigenschaften, und sei ${\mathbf{B}}$ eine beliebige $m\times n$ Matrix mit

  $${\mathbf{B}}={\mathbf{Q}}\left(\begin{array}{cc} {\mathbf{I}}_r & {\mathbf{R}} {\mathbf{S}}& {\mathbf{T}}\end{array}\right){\mathbf{P}} ,$$ (27)

  
  
  wobei ${\mathbf{R}}$, ${\mathbf{S}}$, ${\mathbf{T}}$ beliebige Matrizen sind mit den Dimensionen $r\times (n-r)$, $(m-r)\times r$ bzw. $(m-r)\times (n-r)$.
• Dann ergibt sich aus (26) und (27), dass
  

  $${\mathbf{A}}{\mathbf{B}}{\mathbf{A}} = {\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\... ... {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1}$$

  $$= {\mathbf{P}}^{-1}\left(\begin{array}{cc} {\mathbf{I}}_r & {\bf0}\... ... {\mathbf{I}}_r & {\bf0}\\ {\bf0} & {\bf0} \end{array}\right){\mathbf{Q}}^{-1}$$

  $$= {\mathbf{A}} ,$$

  
  
  d.h., die in (27) gegebene Matrix ${\mathbf{B}}$ ist eine verallgemeinerte Inverse von ${\mathbf{A}}$.
• Sei $k\in\{r,\ldots,m\}$ eine beliebige natürliche Zahl. Setzt man nun beispielsweise

  $${\mathbf{R}}={\bf0} \qquad{\mathbf{S}}={\bf0} \qquad {\mathbf{T}}=\left(\begin{array}{cc} {\mathbf{I}}_{k-r} & {\bf0} {\bf0} & {\bf0} \end{array}\right) ,$$ (28)

  
  
  dann gilt ${ {\rm rg}}({\mathbf{B}})=k$.

Insgesamt erhalten wir somit das folgende Ergebnis.

Lemma 3.4   Sei ${\mathbf{A}}$ eine $n\times m$ Matrix mit $n\ge m$ und ${ {\rm rg}}({\mathbf{A}})=r\le m$. Außerdem sei ${\mathbf{B}}$ für jedes $k\in\{r,\ldots,m\}$ die in $(\ref{def.mat.beh})$ - $(\ref{kon.ver.all})$ gegebene $m\times n$ Matrix. Dann gilt ${ {\rm rg}}({\mathbf{B}})=k$ und ${\mathbf{A}}^-={\mathbf{B}}$ ist eine Lösung der Gleichung $(\ref{def.ver.inv})$.

Außerdem sind die folgenden Eigenschaften der verallgemeinerten Inversen nützlich.

Lemma 3.5    

• Sei ${\mathbf{A}}$ eine beliebige $n\times m$ Matrix mit $n\ge m$, und sei $\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-$ eine verallgemeinerte Inverse der symmetrischen $m\times m$ Matrix ${\mathbf{A}}^\top{\mathbf{A}}$.
• Dann ist auch die transponierte Matrix $\bigl(\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\bigr)^\top$ eine verallgemeinerte Inverse von ${\mathbf{A}}^\top{\mathbf{A}}$.
• Außerdem gilt

  $${\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top={\mathbf{A}}^\top .$$ (29)

  
  

Beweis

 

• Definitionsgemäß gilt für die verallgemeinerte Inverse, dass ${\mathbf{A}}^\top{\mathbf{A}} \bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top{\mathbf{A}}={\mathbf{A}}^\top{\mathbf{A}}$.
• Hieraus und aus der Symmetrie der Matrix ${\mathbf{A}}^\top{\mathbf{A}}$ ergibt sich, dass
  $${\mathbf{A}}^\top{\mathbf{A}}\;=\; \bigl({\mathbf{A}}^\top{\mathb... ...mathbf{A}}^\top{\mathbf{A}}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}} ,$$
  d.h. die transponierte Matrix $\bigl(\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\bigr)^\top$ ist ebenfalls eine verallgemeinerte Inverse von ${\mathbf{A}}^\top{\mathbf{A}}$.
• Um die zweite Teilaussage (29) zu beweisen, betrachten wir die Matrix
  $${\mathbf{B}}={\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top-{\mathbf{A}}^\top .$$

• Dann gilt
  

  $${\mathbf{B}}{\mathbf{B}}^\top = \Bigl({\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathb... ...thbf{A}}^\top{\mathbf{A}}\bigr)^-{\mathbf{A}}^\top-{\mathbf{A}}^\top\Bigr)^\top$$

  $$= {\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}}\... ...l({\mathbf{A}}^\top{\mathbf{A}}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}}$$

  $$- {\mathbf{A}}^\top{\mathbf{A}}\bigl({\mathbf{A}}^\top{\mathbf{A}... ...}\bigr)^-\Bigr)^\top{\mathbf{A}}^\top{\mathbf{A}}+{\mathbf{A}}^\top{\mathbf{A}}$$

  $$= {\mathbf{A}}^\top{\mathbf{A}}-{\mathbf{A}}^\top{\mathbf{A}}-{\mathbf{A}}^\top{\mathbf{A}}+{\mathbf{A}}^\top{\mathbf{A}} ={\bf0} .$$

  
  

• Hieraus folgt, dass ${\mathbf{B}}={\bf0}$.
  
  $\Box$

Mit Hilfe der verallgemeinerten Inversen $({\mathbf{X}}^\top{\mathbf{X}})^-$ von ${\mathbf{X}}^\top{\mathbf{X}}$ und ihrer (in Lemma 3.5 betrachteten) Eigenschaften lässt sich die Lösungsmenge der Normalengleichung (24) beschreiben.

Theorem 3.5   Die allgemeine Lösung ${\boldsymbol {\beta }}$ der Normalengleichung ${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}}$ hat die Form

$${\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}... ...thbf{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}} ,$$ (30)

wobei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige Lösung der Gleichung

$${\mathbf{X}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}={\mathbf{X}}^\top{\mathbf{X}}$$ (31)

und ${\mathbf{z}}\in\mathbb{R}^m$ ein beliebiger $m$-dimensionaler Vektor ist.

Beweis

 

• Durch Einsetzen von (30) in die linke Seite der Normalengleichung (24) erkennt man,
  • dass für jedes ${\mathbf{z}}\in\mathbb{R}^m$ durch (30) eine Lösung von (24) gegeben ist,
  • denn es gilt
    

    $${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}} = {\mathbf{X}}^\top{\mathbf{X}}\Bigl(({\mathbf{X}}^\top{\mathbf{X}}... ...mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}\Bigr)\hspace{2cm}$$

    $$= {\mathbf{X}}^\top{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}\;=\; {\mathbf{X}}^\top{\mathbf{Y}} ,$$

    
    
    wobei sich die letzte Gleichheit aus Lemma 3.5 ergibt.
• Sei nun $\widetilde{\boldsymbol{\beta}}$ bzw. ${\boldsymbol {\beta }}$ eine beliebige Lösung bzw. eine durch den Ansatz (30) gegebene Lösung von (24).
  • Dann ergibt sich durch seitenweise Subtraktion von (24), dass

    $${\mathbf{X}}^\top{\mathbf{X}}(\widetilde{\boldsymbol{\beta}}-{\boldsymbol{\beta}})={\bf o} .$$ (32)

    
    

  • Für ein ${\mathbf{z}}\in\mathbb{R}^m$ gilt also
    

    $$\widetilde{\boldsymbol{\beta}} = {\boldsymbol{\beta}}-({\boldsymbol{\... ...hbf{X}}\bigr){\mathbf{z}}-({\boldsymbol{\beta}}-\widetilde{\boldsymbol{\beta}})$$

    $$= ({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}+\b... ...athbf{X}}^\top{\mathbf{X}}(\widetilde{\boldsymbol{\beta}}-{\boldsymbol{\beta}})$$

    $$\stackrel{(\ref{sei.wei.sub})}{=} ({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}+\b... ...}}\bigr)({\mathbf{z}}-({\boldsymbol{\beta}}-\widetilde{\boldsymbol{\beta}})) .$$

    
    

  • Hieraus folgt, dass $\widetilde{\boldsymbol{\beta}}$ ebenfalls eine durch den Ansatz (30) gegebene Lösung von (24) ist.
    
    $\Box$

Beispiel

$\;$ (einfaktorielle Varianzanalyse)

• Zur Erinnerung: Im reparametrisierten Modell der einfaktoriellen Varianzanalyse (vgl. Fall $2$ des in Abschnitt 3.1.2 betrachteten Beispiels) ist die Designmatrix gegeben durch die $n\times (k+1)$ Matrix

  $${\mathbf{X}}=\left(\begin{array}{ccccccc} 1 & 1 & 0 & 0 &\ldots &... ...dots & &\vdots & \vdots 1 & 0 & 0 & 0 & \ldots & 0 & 1 \end{array}\right) ,$$ (33)

  
  
  und der Parametervektor ${\boldsymbol {\beta }}$ ist gegeben durch ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)^\top$.
• Man kann sich leicht überlegen, dass dann

  $${\mathbf{X}}^\top {\mathbf{X}}=\left(\begin{array}{ccccccc} n & n... ...ts & & \vdots & \vdots n_k & 0 & 0 & 0 & \ldots & 0 & n_k \end{array}\right)$$ (34)

  
  
  und dass eine verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$ gegeben ist durch

  $$\bigl({\mathbf{X}}^\top{\mathbf{X}}\bigr)^-=\left(\begin{array}{r... ...{n} & 0 & 0 & 0 & \ldots & 0 & \displaystyle\frac{1}{n_k} \end{array}\right) .$$ (35)

  
  

• Die Normalengleichung (24), d.h. ${\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}={\mathbf{X}}^\top{\mathbf{Y}}$, besitzt somit die folgende Gestalt:
  $$n\mu+\sum\limits_{i=1}^k n_i\alpha_i \;=\; Y_{\cdot\cdot} ,\qquad n_i\mu+n_i\alpha_i \;=\; Y_{i \cdot} ,\qquad\forall i=1,\ldots,k .$$

• Wenn wir die Lösungen dieses Gleichungssystems lediglich in dem eingeschränkten Parameterraum $\Theta\subset\mathbb{R}^{k+1}$ suchen, wobei

  $$\Theta=\Bigl\{{\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k):\,\sum\limits_{i=1}^k n_i\alpha_i=0\Bigr\}\,,$$ (36)

  
  
  dann ergibt sich die (eindeutig bestimmte) Lösung $\widehat{\boldsymbol{\beta}}=( \widehat\mu,\widehat\alpha_1,\ldots,\widehat\alpha_k)$ mit

  $$\widehat\mu \; =\; \overline Y_{\cdot\cdot} ,\qquad \widehat\alp... ...overline Y_{i \cdot}-\overline Y_{\cdot\cdot} ,\quad\forall i=1,\ldots,k .$$ (37)

  
  

• Man kann sich leicht überlegen, dass die in (37) gegebene Lösung $\widehat{\boldsymbol{\beta}}$ der Normalengleichung (24)
  • die Gestalt $\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ hat, wobei die verallgemeinerte Inverse $({\mathbf{X}}^\top{\mathbf{X}})^-$ durch (35) gegeben ist, und
  • ein erwartungstreuer Schätzer für ${\boldsymbol{\beta}}=(\mu,\alpha_1,\ldots,\alpha_k)$ bezüglich des eingeschränkten Parameterraumes $\Theta$ ist, der die in (36) gegebene Form hat.
• Ohne die in (36) betrachtete Nebenbedingung gibt es jedoch keinen KQ-Schätzer für ${\boldsymbol {\beta }}$, der gleichzeitig erwartungstreu ist, vgl. Theorem 3.8.

Wir betrachten jetzt erneut das in (1) - (3) gegebene lineare Modell mit allgemeiner Designmatrix ${\mathbf{X}}$. Insbesondere betrachten wir die in Theorem 3.5 diskutierten Lösungen der Normalengleichung (24) und zeigen, dass für ${\mathbf{z}}={\mathbf{o}}$ der in $(2.\ref{def.mul.qua})$ gegebene mittlere quadratische Fehler $e({\boldsymbol{\beta}})$ minimiert wird.

Theorem 3.6   $\;$ Sei $({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige verallgemeinerte Inverse von ${\mathbf{X}}^\top{\mathbf{X}}$. Dann minimiert die Stichprobenfunktion

$$\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$$ (38)

den mittleren quadratischen Fehler $e({\boldsymbol{\beta}})$, d.h., $\overline {\boldsymbol {\beta }}$ ist ein KQ-Schätzer für ${\boldsymbol {\beta }}$.

Beweis

 

• Für jeden $m$-dimensionalen Vektor ${\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m)^\top$ gilt
  

  $$n e({\boldsymbol{\beta}}) = ({\mathbf{Y}}-{\mathbf{X}}{\boldsymbol{\beta}})^\top({\mathbf{Y}}... ...\beta}} +{\mathbf{X}}(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})\bigr)$$

  $$= \bigl({\mathbf{Y}}-{\mathbf{X}}\overline{\boldsymbol{\beta}}\bigr... ...ine{\boldsymbol{\beta}}\bigr) =n e\bigl(\overline{\boldsymbol{\beta}}\bigr) ,$$

  
  
  weil
  $$(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})^\top {\mathb... ...gl({\mathbf{X}}(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})\Bigr)\ge 0$$
  und
  $$(\overline{\boldsymbol{\beta}}-{\boldsymbol{\beta}})^\top {\mathb... ...f{X}}({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top\bigr){\mathbf{Y}}=0 ,$$
  wobei sich die letzte Gleichheit aus Lemma 3.5 ergibt.
  
  $\Box$