Lineare Transformation von normalverteilten Zufallsvektoren

Bei der Untersuchung des multiplen Regressionsmodells mit normalverteilten Störgrößen ist die folgende Eigenschaft von Lineartransformationen normalverteilter Zufallsvektoren nützlich.

Theorem 3.9    

• Sei ${\mathbf{Y}}\sim\,{\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$ ein $n$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertvektor ${\boldsymbol{\mu}}\in\mathbb{R}^n$ und mit (positiv definiter) Kovarianzmatrix ${\mathbf{K}}$.
• Außerdem gelte $m\le n$, und ${\mathbf{A}}$ sei eine beliebige $m\times n$ Matrix mit vollem Rang ${\,{\rm rg}}({\mathbf{A}})=m$ bzw. ${\mathbf{c}}\in\mathbb{R}^m$ ein beliebiger $m$-dimensionaler Vektor.
• Dann ist ${\mathbf{Z}}={\mathbf{A}}{\mathbf{Y}}+{\mathbf{c}}$ ein ($m$-dimensionaler) normalverteilter Zufallsvektor mit

  $${\mathbf{Z}}\sim\,{\rm N}({\mathbf{A}}{\boldsymbol{\mu}}+{\mathbf{c}},\,{\mathbf{A}}{\mathbf{K}}{\mathbf{A}}^\top)\,.$$ (47)

  
  

Beweis

 

• Für jede natürliche Zahl $r\ge 1$, für jeden $r$-dimensionalen Zufallsvektor ${\mathbf{Z}}:\Omega\to\mathbb{R}^r$ und für jedes ${\mathbf{a}}\in\mathbb{R}^r$ gilt
  $$\varphi_{\mathbf{Z}}({\mathbf{t}})=\exp({\rm i}\, {\mathbf{t}}^\t... ...}-{\mathbf{a}}}({\mathbf{t}})\,,\qquad\forall\,{\mathbf{t}}\in\mathbb{R}^r\,.$$

• Aus der in Theorem 3.8 hergeleiteten Formel (42) und aus dem Eindeutigkeitssatz für die charakteristische Funktion von normalverteilten Zufallsvektoren folgt somit, daß
  $${\mathbf{Z}}\sim\,{\rm N}({\mathbf{A}}{\boldsymbol{\mu}}+{\mathbf... ...}})\sim\,{\rm N}({\mathbf{o}},\,{\mathbf{A}}{\mathbf{K}}{\mathbf{A}}^\top)\,.$$

• O.B.d.A. können (und werden) wir deshalb annehmen, daß ${\mathbf{Y}}\sim\,{\rm N}({\mathbf{o}},{\mathbf{K}})$ und ${\mathbf{c}}={\mathbf{o}}$.
• Ähnlich wie im Beweis von Theorem 3.8 ergibt sich dann für die charakteristische Funktion $\varphi_{\mathbf{Z}}({\mathbf{t}})$ von ${\mathbf{Z}}={\mathbf{A}}{\mathbf{Y}}$, daß für jedes ${\mathbf{t}}\in\mathbb{R}^m$
  

  $$\varphi_{\mathbf{Z}}({\mathbf{t}}) = {\mathbb{E}\,}e^{{\rm i}\,{\mathbf{t}}^\top{\mathbf{Z}}}$$

  $$= {\mathbb{E}\,}e^{{\rm i}\,{\mathbf{t}}^\top{\mathbf{A}}{\mathbf{Y}}}= {\mathbb{E}\,}e^{{\rm i}\,({\mathbf{A}}^\top{\mathbf{t}})^\top{\mathbf{Y}}}$$

  $$= \varphi_{\mathbf{Y}}( {\mathbf{A}}^\top{\mathbf{t}})\,,$$

  
  
  wobei $\varphi_{\mathbf{Y}}( {\mathbf{A}}^\top{\mathbf{t}})$ den Wert der charakteristischen Funktion des normalverteilten Zufallsvektors ${\mathbf{Y}}$ an der Stelle ${\mathbf{A}}^\top{\mathbf{t}}\in\mathbb{R}^n$ bezeichnet.
• Aus der Darstellungsformel (42) für die charakteristische Funktion normalverteilter Zufallsvektoren ergibt sich nun, daß
  

  $$\varphi_{\mathbf{Z}}({\mathbf{t}}) = \varphi_{\mathbf{Y}}({\mathbf{A}}^\top{\mathbf{t}})$$

  $$= \exp\Bigl(-\,\frac{1}{2}\, ( {\mathbf{A}}^\top{\mathbf{t}})^\top{\mathbf{K}}( {\mathbf{A}}^\top{\mathbf{t}})\Bigr)$$

  $$= \exp\Bigl(-\,\frac{1}{2}\, {\mathbf{t}}^\top({\mathbf{A}}{\mathbf{K}}{\mathbf{A}}^\top){\mathbf{t}}\Bigr)\,.$$

  
  

• Mit anderen Worten: Die charakteristische Funktion von ${\mathbf{Z}}$ stimmt mit der charakteristischen Funktion der N $({\mathbf{o}},\,{\mathbf{A}}{\mathbf{K}}{\mathbf{A}}^\top)$-Verteilung überein.
• Aus dem Eindeutigkeitssatz für die charakteristische Funktion von Zufallsvektoren folgt somit, daß ${\mathbf{Z}}\sim$ N $({\mathbf{o}},\,{\mathbf{A}}{\mathbf{K}}{\mathbf{A}}^\top)$.
  
  $\Box$

Beachte

 

• Aus Theorem 3.9 ergibt sich insbesondere, daß sich normalverteilte Zufallsvektoren durch Lineartransformation von Vektoren konstruieren lassen, deren Komponenten unabhängige und N$(0,1)$-verteilte Zufallsvariablen sind.
• Dabei ist der folgende Hilfssatz nützlich.

Lemma 3.11   Sei ${\mathbf{K}}$ eine symmetrische und positiv definite $n\times n$ Matrix. Dann gibt es eine reguläre $n\times n$ Matrix ${\mathbf{A}}$, so daß

$${\mathbf{K}}={\mathbf{A}}{\mathbf{A}}^\top\,.$$ (48)

Beweis

 

• Gemäß Lemma 3.8 sind sämtliche Eigenwerte $\lambda_1,\ldots,\lambda_n$ von ${\mathbf{K}}$ reelle (positive) Zahlen.
• Außerdem gilt gemäß Lemma 3.9, daß ${\mathbf{V}}^\top{\mathbf{K}}{\mathbf{V}}={\boldsymbol{\Lambda}}$ bzw.

  $${\mathbf{K}}=({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}{\mathbf{V}}^{-1}\,,$$ (49)

  
  
  wobei ${\mathbf{V}}=({\mathbf{v}}_1,\ldots,{\mathbf{v}}_n)$ die $n\times n$ Matrix ist, die aus den orthonormalen Eigenvektoren ${\mathbf{v}}_1,\ldots,{\mathbf{v}}_n$ besteht, und ${\boldsymbol{\Lambda}}={\rm diag}(\lambda_1,\ldots,\lambda_n)$ die $n\times n$ Diagonalmatrix bezeichnet, die aus den Eigenwerten $\lambda_1,\ldots,\lambda_n$ gebildet wird.
• Sei nun ${\boldsymbol{\Lambda}}^{1/2}$ die $n\times n$ Diagonalmatrix ${\boldsymbol{\Lambda}}^{1/2}={\rm diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})$, und sei

  $${\mathbf{A}}=({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}^{1/2}{\mathbf{V}}^\top\,.$$ (50)

  
  

• Wegen ${\mathbf{V}}^\top{\mathbf{V}}={\mathbf{I}}$ gilt dann
  

  $${\mathbf{A}}{\mathbf{A}}^\top = ({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}^{1/2}{\mathbf{V}}^... ...{\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}^{1/2}{\mathbf{V}}^\top\Bigr)^\top$$

  $$= ({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}^{1/2}{\mathbf{V}}^\top{\mathbf{V}}{\boldsymbol{\Lambda}}^{1/2} {\mathbf{V}}^{-1}$$

  $$= ({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}^{1/2} {\boldsymbol{\Lambda}}^{1/2} {\mathbf{V}}^{-1}$$

  $$= ({\mathbf{V}}^\top)^{-1}{\boldsymbol{\Lambda}}{\mathbf{V}}^{-1}$$

  $$= {\mathbf{K}}\,,$$

  
  
  wobei sich die letzte Gleichheit aus (49) ergibt.
  
  $\Box$

Beachte

 

• Die in (50) gegebene Matrix ${\mathbf{A}}$ mit ${\mathbf{A}}{\mathbf{A}}^\top={\mathbf{K}}$ wird Quadratwurzel von ${\mathbf{K}}$ genannt und mit ${\mathbf{K}}^{1/2}$ bezeichnet.
• Aus Theorem 3.9 erhalten wir nun unmittelbar das folgende Ergebnis.

Korollar 3.5    

• Seien $Y_1,\ldots,Y_n:\Omega\to\mathbb{R}$ unabhängige Zufallsvariablen mit $Y_i\sim\,{\rm N}(0,1)$ für jedes $i=1,\ldots,n$, d.h. ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top\sim\,{\rm N}({\mathbf{o}},{\mathbf{I}})$.
• Sei ${\mathbf{K}}$ eine symmetrische und positiv definite $n\times n$ Matrix, und sei ${\boldsymbol{\mu}}\in\mathbb{R}^n$.
• Für den Zufallsvektor ${\mathbf{Z}}={\mathbf{K}}^{1/2}{\mathbf{Y}}+{\boldsymbol{\mu}}$ gilt dann ${\mathbf{Z}}\sim\,{\rm N}({\boldsymbol{\mu}},\,{\mathbf{K}})$.