next up previous contents
Next: Schätzbare Funktionen Up: Schätzung der Modellparameter Previous: Schätzung der Modellparameter   Contents


Methode der kleinsten Quadrate; verallgemeinerte Inverse

Beachte
 

Definition
$ \;$ Eine $ m\times n$ Matrix $ {\mathbf{A}}^-$ heißt verallgemeinerte Inverse der $ n\times m$ Matrix $ {\mathbf{A}}$, falls

$\displaystyle {\mathbf{A}}{\mathbf{A}}^-{\mathbf{A}}={\mathbf{A}}\,.$ (20)

Um zu zeigen, daß es immer eine Lösung $ {\mathbf{A}}^-$ der Definitionsgleichung (20) gibt, benutzen wir die folgende allgemeine Matrix-Darstellungsformel, die wir hier ohne Beweis angeben.

Lemma 4.1    

Mit Hilfe von Lemma 4.1 kann man nun zeigen, wie man zu Lösungen $ {\mathbf{A}}^-$ von (20) gelangen kann.

Lemma 4.2   Sei $ {\mathbf{A}}$ eine $ n\times m$ Matrix mit $ n\ge m$ und $ {\,{\rm rg}}({\mathbf{A}})=r\le m$. Dann gibt es für jedes $ k\in\{r,\ldots,m\}$ eine $ m\times n$ Matrix $ {\mathbf{A}}^-$ mit $ {\,{\rm rg}}({\mathbf{A}}^-)=k$, die der Gleichung % latex2html id marker 43652
$ (\ref{def.ver.inv})$ genügt.

Beweis
 

Außerdem sind die folgenden Eigenschaften der verallgemeinerten Inversen nützlich.

Lemma 4.3    

Beweis
 


In der Theorie linearer algebraischer Gleichungssysteme wird gezeigt, daß die Lösungsmenge der Normalengleichungen (19) die folgende Gestalt besitzt.

Theorem 4.3   Die allgemeine Lösung $ {\boldsymbol {\beta }}$ der Normalengleichungen % latex2html id marker 43772
$ (\ref{for.nor.gle})$ hat die Form

$\displaystyle {\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}...
...thbf{X}}^\top{\mathbf{X}})^- {\mathbf{X}}^\top{\mathbf{X}}\bigr){\mathbf{z}}\,,$ (24)

wobei $ ({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige Lösung der Gleichung

$\displaystyle ({\mathbf{X}}^\top{\mathbf{X}})({\mathbf{X}}^\top{\mathbf{X}})^-({\mathbf{X}}^\top{\mathbf{X}})=({\mathbf{X}}^\top{\mathbf{X}})$ (25)

und $ {\mathbf{z}}\in\mathbb{R}^m$ ein beliebiger $ m$-dimensionaler Vektor ist.


Beweis
 

Beachte
 

Beispiel
$ \;$ (einfaktorielle Varianzanalyse)


Für das in (1) - (3) gegebene lineare Modell mit allgemeiner Designmatrix $ {\mathbf{X}}$ betrachten wir nun eine beliebige verallgemeinerte Inverse $ ({\mathbf{X}}^\top{\mathbf{X}})^-$ der $ m\times m$ Matrix $ {\mathbf{X}}^\top{\mathbf{X}}$ und konstruieren eine Klasse von MKQ-Schätzern für den Parametervektor $ {\boldsymbol {\beta }}$.

Theorem 4.4   $ \;$ Sei $ ({\mathbf{X}}^\top{\mathbf{X}})^-$ eine beliebige Lösung der Gleichung % latex2html id marker 43884
$ (\ref{bel.loe.gle})$. Dann minimiert die Stichprobenfunktion

$\displaystyle \overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ (31)

den in % latex2html id marker 43888
$ (\ref{mul.qua.pri.pri})$ gegebenen mittleren quadratischen Fehler $ e({\boldsymbol{\beta}})$, d.h., $ \overline{\boldsymbol{\beta}}$ ist ein MKQ-Schätzer für $ {\boldsymbol {\beta }}$.


Beweis
 


Aus den Modellannahmen (3) über die Störgrößen $ \varepsilon _1,\ldots,\varepsilon _n$ und aus den allgemeinen Rechenregeln für den Erwartungswert bzw. die Kovarianz von reellwertigen Zufallsvariablen (vgl. die Abschnitte WR-4.1.3 bzw. WR-4.3.2) ergibt sich, daß Erwartungswertvektor und Kovarianzmatrix des MKQ-Schätzers $ \overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{Y}}$ die folgende Form haben.

Theorem 4.5   $ \;$ Es gilt

$\displaystyle {\mathbb{E}\,}\overline{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^-{\mathbf{X}}^\top{\mathbf{X}}{\boldsymbol{\beta}}$ (32)

und

$\displaystyle {\rm Cov\,}\overline{\boldsymbol{\beta}}= \sigma^2({\mathbf{X}}^\...
...athbf{X}}^\top{\mathbf{X}}\bigl(({\mathbf{X}}^\top{\mathbf{X}})^-\bigr)^\top\,.$ (33)

Beweis
 


Beachte
 

Lemma 4.4   Seien $ m,n,r\in\mathbb{N}$ beliebige natürliche Zahlen, und seien $ {\mathbf{A}},{\mathbf{B}}$ beliebige $ m\times n$ bzw. $ n\times r$ Matrizen. Dann gilt

$\displaystyle {\,{\rm rg}}({\mathbf{A}}{\mathbf{B}})\le\min\{{\,{\rm rg}}({\mathbf{A}}),{\,{\rm rg}}({\mathbf{B}})\}\,.$ (34)


Wir zeigen nun, daß es keinen MKQ-Schätzer für $ {\boldsymbol {\beta }}$ gibt, der gleichzeitig erwartungstreu ist. Insbesondere ist der in (31) gegebene MKQ-Schätzer $ \overline{\boldsymbol{\beta}}$ für $ {\boldsymbol {\beta }}$ nicht erwartungstreu.


next up previous contents
Next: Schätzbare Funktionen Up: Schätzung der Modellparameter Previous: Schätzung der Modellparameter   Contents
Ursa Pantle 2003-03-10