Definition und grundlegende Eigenschaften

• In Vektor-Schreibweise bedeutet die Normalverteilungseigenschaft (31) und die Unabhängigkeit der Störgrößen, daß

  $${\boldsymbol{\varepsilon }}\sim\,{\rm N} \bigl({\mathbf{o}},\sigma^2{\mathbf{I}}_n\bigr)\,,$$ (32)

  
  
  wobei N $\bigl({\mathbf{o}},\sigma^2{\mathbf{I}}_n\bigr)$ die $n$-dimensionale Normalverteilung mit Erwartungswertvektor ${\mathbf{o}}$ und Kovarianzmatrix $\sigma^2{\mathbf{I}}_n$ bezeichnet; ${\boldsymbol{\varepsilon }}=(\varepsilon _1,\ldots,\varepsilon _n)^\top$.
• Zur Erinnerung (vgl. Abschnitt WR-4.3.4): Allgemein wird die $n$-dimensionale Normalverteilung wie folgt definiert.
  • Sei ${\boldsymbol{\mu}}=(\mu_1,\ldots,\mu_n)^\top\in\mathbb{R}^n$ ein beliebiger Vektor, und sei ${\mathbf{K}}$ eine symmetrische und positiv definite $n\times n$-Matrix, d.h., es gelte ${\mathbf{K}}={\mathbf{K}}^\top$ und ${\mathbf{x}}^\top{\mathbf{K}}{\mathbf{x}}>0$ für jeden Vektor ${\mathbf{x}}=(x_1,\ldots,x_n)^\top\in\mathbb{R}^n$ mit ${\mathbf{x}}\not={\mathbf{o}}$.
  • Sei ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top$ ein absolutstetiger Zufallsvektor, wobei die gemeinsame Dichte von ${\mathbf{Z}}$ gegeben sei durch

    $$f({\mathbf{z}})=\Bigl(\frac{1}{\sqrt{2\pi}}\Bigr)^n\;\frac{1}{\sq... ...boldsymbol{\mu}})^\top {\mathbf{K}}^{-1}({\mathbf{z}}-{\boldsymbol{\mu}})\Bigr)$$ (33)

    
    
    für jedes ${\mathbf{z}}=(z_1,\ldots,z_n)^\top\in\mathbb{R}^n$.
  • Dann sagt man, daß der Zufallsvektor ${\mathbf{Z}}=(Z_1,\ldots,Z_n)$ (multivariat) normalverteilt ist.
  • Schreibweise: ${\mathbf{Z}}\sim\,{\rm N}({\boldsymbol{\mu}},\,{\mathbf{K}})$

Beachte

 

• Jede symmetrische und positiv definite Matrix ${\mathbf{K}}$ ist regulär, d.h., die inverse Matrix ${\mathbf{K}}^{-1}$ ist wohldefiniert. (Wegen Theorem 3.1 ist die gleichbedeutend damit, daß ${\mathbf{K}}$ vollen Rang hat bzw. $\det {\mathbf{K}}\not=0$.)
• Dies ergibt sich aus der folgenden Überlegung: Falls ${\,{\rm rg}}({\mathbf{K}})<n$ gilt, d.h., falls es einen Vektor ${\mathbf{x}}\in\mathbb{R}^n$ mit ${\mathbf{x}}\not={\mathbf{o}}$ gibt, so daß ${\mathbf{K}}{\mathbf{x}}={\mathbf{o}}$, dann gilt auch ${\mathbf{x}}^\top{\mathbf{K}}{\mathbf{x}}=0$, d.h., ${\mathbf{K}}$ ist nicht positiv definit.

Um zu zeigen, daß die in (33) gegebene Funktion eine Wahrscheinlichkeitsdichte ist, sind die folgenden Begriffe und Aussagen der Matrix-Algebra nützlich.

Definition

$\;$ Sei ${\mathbf{A}}$ eine beliebige $n\times n$ Matrix. Jede (komplexe) Zahl $\lambda\in\mathbb{C}$, für die es einen Vektor ${\mathbf{x}}\in\mathbb{C}^n$ mit ${\mathbf{x}}\not={\mathbf{o}}$ gibt, so daß

$$({\mathbf{A}}-\lambda{\mathbf{I}}){\mathbf{x}}={\mathbf{o}}\,,$$ (34)

heißt Eigenwert der Matrix ${\mathbf{A}}$. Außerdem sagt man dann, daß ${\mathbf{x}}$ ein zu $\lambda$ gehörender Eigenvektor ist.

Beachte

 

• Die Gleichung (34) hat nur für solche $\lambda\in\mathbb{C}$ eine Lösung ${\mathbf{x}}\in\mathbb{C}^n$ mit ${\mathbf{x}}\not={\mathbf{o}}$, falls $\lambda$ eine Lösung der sogenannten charakteristischen Polynomgleichung

  $$\det ({\mathbf{A}}-\lambda{\mathbf{I}})=0$$ (35)

  
  
  ist, wobei die linke Seite $P(\lambda)=\det ({\mathbf{A}}-\lambda{\mathbf{I}})$ von (35) das charakteristische Polynom der Matrix ${\mathbf{A}}$ genannt wird.
• Seien $\lambda_1,\ldots,\lambda_k\in\mathbb{R}$ die reellwertigen Lösungen von (35). Dann läßt sich das charakteristische Polynom $P(\lambda)$ in der Form

  $$P(\lambda)=(-1)^n(\lambda-\lambda_1)^{a_1}\ldots (\lambda-\lambda_k)^{a_k} q(\lambda)$$ (36)

  
  
  darstellen, wobei $a_1,\ldots,a_k\in\mathbb{N}$ positive natürliche Zahlen sind, genannt die algebraischen Vielfachheiten von $\lambda_1,\ldots,\lambda_k$, und $q(\lambda)$ ein Polynom der Ordnung $n-\sum_{i=1}^k a_i$ ist, das keine reellen Lösungen besitzt.

Lemma 3.8   $\;$ Sei ${\mathbf{A}}=(a_{ij})$ eine symmetrische $n\times n$ Matrix mit reellwertigen Einträgen $a_{ij}$. Dann sind sämtliche Eigenwerte reell, und die zu verschiedenen Eigenwerten $\lambda_i,\lambda_j\in\mathbb{R}$ gehörenden Eigenvektoren ${\mathbf{x}}_i,{\mathbf{x}}_j\in\mathbb{R}^n$ sind zueinander orthogonal.

Beweis

 

• Weil die Elemente von ${\mathbf{A}}$ reelle Zahlen sind, ist für jede Lösung $\lambda=a+{\rm i}\,b$ von (35) gleichzeitig auch $\overline\lambda=a-{\rm i}\,b$ eine Lösung von (35).
• Seien ${\mathbf{x}}={\mathbf{a}}+{\rm i}\,{\mathbf{b}}$ und $\overline{\mathbf{x}}={\mathbf{a}}-{\rm i}\,{\mathbf{b}}$ Eigenvektoren, die zu $\lambda$ bzw. $\overline\lambda$ gehören. Dann gilt ${\mathbf{A}}{\mathbf{x}}=\lambda{\mathbf{x}}$ und ${\mathbf{A}}\overline{\mathbf{x}}=\overline\lambda\overline{\mathbf{x}}$ bzw.
  $$\overline{\mathbf{x}}^\top{\mathbf{A}}{\mathbf{x}} =\overline{\mathbf{x}}^\top\lambda{\mathbf{x}}=\lambda\overline{\mathbf{x}}^\top{\mathbf{x}}$$
  und
  $$\overline{\mathbf{x}}^\top{\mathbf{A}}{\mathbf{x}}=\bigl({\mathbf... ...^\top{\mathbf{x}}= \overline\lambda\overline{\mathbf{x}}^\top{\mathbf{x}}\,.$$

• Hieraus folgt, daß $\lambda\overline{\mathbf{x}}^\top{\mathbf{x}}=\overline\lambda\overline{\mathbf{x}}^\top{\mathbf{x}}$.
• Weil $\overline{\mathbf{x}}^\top{\mathbf{x}}=\Vert{\mathbf{a}}\Vert^2+\Vert{\mathbf{b}}\Vert^2>0$, ergibt sich hieraus, daß $\lambda=\overline\lambda$, d.h., $\lambda$ ist eine reelle Zahl.
• Auf ähnliche Weise läßt sich zeigen, daß es zu verschiedenen Eigenwerten $\lambda_i,\lambda_j\in\mathbb{R}$ gehörende Eigenvektoren ${\mathbf{x}}_i,{\mathbf{x}}_j\in\mathbb{R}^n$ mit reellwertigen Komponenten gibt, die zueinander orthogonal sind.
• Weil die Matrix ${\mathbf{A}}-\lambda_i{\mathbf{I}}$ nur reellwertige Eintragungen hat, sind mit ${\mathbf{x}}_i$ auch $\overline{\mathbf{x}}_i$ bzw. ${\mathbf{x}}_i+\overline{\mathbf{x}}_i\in\mathbb{R}^n$ zu $\lambda_i$ gehörende Eigenvektoren.
• Wir können (und werden) deshalb o.B.d.A. annehmen, daß ${\mathbf{x}}_i,{\mathbf{x}}_j\in\mathbb{R}^n$. Aus der Gültigkeit von
  $$({\mathbf{A}}-\lambda_i{\mathbf{I}}){\mathbf{x}}_i={\mathbf{o}}$$   und$$\qquad ({\mathbf{A}}-\lambda_j{\mathbf{I}}){\mathbf{x}}_j={\mathbf{o}}$$
  ergibt sich außerdem, daß
  $${\mathbf{A}}{\mathbf{x}}_i=\lambda_i{\mathbf{x}}_i$$   und$$\qquad {\mathbf{A}}{\mathbf{x}}_j=\lambda_j{\mathbf{x}}_j$$
  bzw.
  $${\mathbf{x}}_j^\top{\mathbf{A}}{\mathbf{x}}_i=\lambda_i{\mathbf{x}}_j^\top{\mathbf{x}}_i$$   und$$\qquad {\mathbf{x}}_i^\top{\mathbf{A}}{\mathbf{x}}_j=\lambda_j{\mathbf{x}}_i^\top{\mathbf{x}}_j\,.$$

• Andererseits gilt offenbar ${\mathbf{x}}_j^\top{\mathbf{x}}_i={\mathbf{x}}_i^\top{\mathbf{x}}_j$, und aus der Symmetrie von ${\mathbf{A}}=(a_{ij})$ ergibt sich die Identität ${\mathbf{x}}_j^\top{\mathbf{A}}{\mathbf{x}}_i={\mathbf{x}}_i^\top{\mathbf{A}}{\mathbf{x}}_j$, denn es gilt
  $${\mathbf{x}}_j^\top{\mathbf{A}}{\mathbf{x}}_i=\sum\limits_{m=1}^n... ... x_{mi}a_{m\ell} x_{\ell j}={\mathbf{x}}_i^\top{\mathbf{A}}{\mathbf{x}}_j\,.$$

• Insgesamt ergibt sich somit, daß
  $$\lambda_i{\mathbf{x}}_j^\top{\mathbf{x}}_i=\lambda_j{\mathbf{x}}_i^\top{\mathbf{x}}_j$$   bzw.$$\qquad (\lambda_i-\lambda_j){\mathbf{x}}_j^\top{\mathbf{x}}_i=0\,.$$

• Wegen $\lambda_i-\lambda_j\not=0$ folgt hieraus, daß ${\mathbf{x}}_j^\top{\mathbf{x}}_i=0$.
  
  $\Box$

Beachte

 

• Sei nun ${\mathbf{A}}$ eine reguläre symmetrische $n\times n$ Matrix (mit vollem Rang ${\,{\rm rg}}({\mathbf{A}})=n$).
• In Lemma 3.8 haben wir gezeigt, daß dann sämtliche Eigenwerte $\lambda_1,\ldots,\lambda_n$ von ${\mathbf{A}}$ reelle Zahlen sind (wobei in dieser Folge gegebenenfalls einunddieselbe Zahl mehrfach auftreten kann).
• Wegen $\det{\mathbf{A}}\not=0$ ist $\lambda=0$ keine Lösung von (35), d.h., sämtliche Eigenwerte $\lambda_1,\ldots,\lambda_n$ von ${\mathbf{A}}$ sind von Null verschieden.
• Außerdem kann man zeigen, daß es orthonormale (Basis-) Vektoren ${\mathbf{v}}_1,\ldots,{\mathbf{v}}_n\in\mathbb{R}^n$ gibt, d.h.

  $${\mathbf{v}}_i^\top{\mathbf{v}}_i=1\,,\qquad {\mathbf{v}}_i^\top{\mathbf{v}}_j=0\,,\qquad\forall\, i,j\in\{1,\ldots,n\}\; \; i\not=j\,,$$ (37)

  
  
  so daß ${\mathbf{v}}_i$ ein zu $\lambda_i$ gehörender Eigenvektor ist; $i=1,\ldots,n$.
• Falls sämtliche Eigenwerte $\lambda_1,\ldots,\lambda_n$ voneinander verschieden sind, dann folgt dies unmittelbar aus Teilaussage 2 von Lemma 3.8.
• Hieraus resultiert das folgende Diagonalisierungsverfahren für reguläre symmetrische Matrizen.

Lemma 3.9    

• Sei ${\mathbf{A}}$ eine reguläre symmetrische $n\times n$ Matrix, und sei ${\mathbf{V}}=({\mathbf{v}}_1,\ldots,{\mathbf{v}}_n)$ die $n\times n$ Matrix, die aus den orthonormalen Eigenvektoren ${\mathbf{v}}_1,\ldots,{\mathbf{v}}_n$ besteht.
• Dann gilt

  $${\mathbf{V}}^\top{\mathbf{A}}{\mathbf{V}}={\boldsymbol{\Lambda}}\,,$$ (38)

  
  
  wobei ${\boldsymbol{\Lambda}}={\rm diag}(\lambda_1,\ldots,\lambda_n)$ die $n\times n$ Diagonalmatrix bezeichnet, die aus den Eigenwerten $\lambda_1,\ldots,\lambda_n$ gebildet wird.

Beweis

 

• Aus der Defintionsgleichung (34) von Eigenwerten bzw. -vektoren ergibt sich, daß ${\mathbf{A}}{\mathbf{v}}_i=\lambda_i{\mathbf{v}}_i$ für jedes $i=1,\ldots,n$.
• Hieraus folgt, daß ${\mathbf{A}}{\mathbf{V}}=(\lambda_1{\mathbf{v}}_1,\ldots,\lambda_n{\mathbf{v}}_n)$ bzw.
  $${\mathbf{V}}^\top{\mathbf{A}}{\mathbf{V}}={\mathbf{V}}^\top(\lambda_1{\mathbf{v}}_1,\ldots,\lambda_n{\mathbf{v}}_n)={\boldsymbol{\Lambda}}\,,$$
  wobei sich die letzte Gleichheit aus (37) ergibt.
  
  $\Box$

Wir zeigen nun, daß die in (33) gegebene Funktion eine ($n$-dimensionale) Wahrscheinlichkeitsdichte ist.

Theorem 3.7   $\;$ Sei ${\boldsymbol{\mu}}=(\mu_1,\ldots,\mu_n)^\top\in\mathbb{R}^n$ ein beliebiger Vektor, und sei ${\mathbf{K}}$ eine symmetrische und positiv definite $n\times n$-Matrix. Dann gilt

$$\int\limits_{-\infty}^\infty \ldots \int\limits_{-\infty}^\infty ... ...bol{\mu}})\Bigr)\, dx_1\ldots dx_n =(2\pi)^{n/2}\, (\det {\mathbf{K}})^{1/2}\,.$$ (39)

Beweis

 

• Weil ${\mathbf{K}}$ symmetrisch und positiv definit (und damit auch regulär) ist, gibt es wegen Lemma 3.9 eine $n\times n$ Matrix ${\mathbf{V}}=({\mathbf{v}}_1,\ldots,{\mathbf{v}}_n)$, die aus den orthonormalen Eigenvektoren ${\mathbf{v}}_1,\ldots,{\mathbf{v}}_n$ von ${\mathbf{K}}$ besteht, so daß

  $${\mathbf{V}}^\top{\mathbf{K}}{\mathbf{V}}={\boldsymbol{\Lambda}}\,,$$ (40)

  
  
  wobei ${\boldsymbol{\Lambda}}={\rm diag}(\lambda_1,\ldots,\lambda_n)$ die $n\times n$ Diagonalmatrix bezeichnet, die aus den Eigenwerten $\lambda_1,\ldots,\lambda_n$ von ${\mathbf{K}}$ gebildet wird.
• Außerdem ergibt sich aus der positiven Definitheit von ${\mathbf{K}}$, daß ${\mathbf{v}}_i^\top{\mathbf{K}}{\mathbf{v}}_i=\lambda_i>0$ für jedes $i=1,\ldots,n$, d.h., sämtliche Eigenwerte $\lambda_1,\ldots,\lambda_n$ von ${\mathbf{K}}$ sind positiv.
• Wegen ${\mathbf{V}}^\top{\mathbf{V}}={\mathbf{I}}$ gilt auch ${\mathbf{V}}^\top={\mathbf{V}}^{-1}$ bzw. ${\mathbf{V}}{\mathbf{V}}^\top={\mathbf{I}}$ .
• Weil außerdem $({\mathbf{A}}{\mathbf{B}})^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$ gilt, ergibt sich hieraus und aus (40), daß
  $$\bigl({\mathbf{V}}^\top{\mathbf{K}}{\mathbf{V}}\bigr)^{-1}={\math... ...1}{\mathbf{V}} ={\rm diag}\bigl(\lambda_1^{-1},\ldots,\lambda_n^{-1}\bigr)\,.$$

• Die Abbildung $\varphi:\mathbb{R}^n\to\mathbb{R}^n$ mit ${\mathbf{y}}=\varphi({\mathbf{x}})={\mathbf{V}}^\top ({\mathbf{x}}-{\boldsymbol{\mu}})$, d.h. ${\mathbf{x}}-{\boldsymbol{\mu}}={\mathbf{V}}{\mathbf{y}}$, bildet den $\mathbb{R}^n$ auf sich selbst ab, und für die Jacobi-Determinante der Abbildung $\varphi:\mathbb{R}^n\to\mathbb{R}^n$ gilt
  $$\det\Bigl(\frac{\partial\varphi_i}{\partial x_j}\,(x_1,\ldots,x_n)\Bigr)=\det{\mathbf{V}}=\pm 1\,,$$
  wobei sich die letzte Gleichheit aus der Tatsache ergibt, daß $1=\det({\mathbf{V}}^\top{\mathbf{V}})=(\det{\mathbf{V}})^2$.
• Für das Integral auf der linken Seite von (39) gilt somit, daß
  

  $${ \int\limits_{-\infty}^\infty \ldots \int\limits_{-\infty}^\inft... ...top {\mathbf{K}}^{-1}({\mathbf{x}}-{\boldsymbol{\mu}})\Bigr)\, dx_1\ldots dx_n}$$

  $$= \int\limits_{\mathbb{R}^n} \;\exp\Bigl(-\,\frac{1}{2}\,({\mathbf{... ...c{1}{2}\,\sum\limits_{i=1}^n\frac{y_i^2}{\lambda_i} \Biggr)\, d(y_1,\ldots,y_n)$$

  $$= \int\limits_{-\infty}^\infty \ldots \int\limits_{-\infty}^\infty ... ...bda_i} \Biggr)\, dy_1\ldots dy_n= \prod\limits_{i=1}^n (2\pi\lambda_i)^{1/2}\,.$$

  
  

• Hieraus ergibt sich die Behauptung, weil
  $$\prod\limits_{i=1}^n \lambda_i=\det{\boldsymbol{\Lambda}}=\det\b... ...\bigl({\mathbf{V}}^\top{\mathbf{V}}\bigr)\det{\mathbf{K}}=\det{\mathbf{K}}\,.$$
  
   
    $\Box$