Charakteristiken der multivariaten Normalverteilung

• Sei ${\boldsymbol{\mu}}=(\mu_1,\ldots,\mu_n)^\top\in\mathbb{R}^n$ ein beliebiger Vektor, und sei ${\mathbf{K}}=(k_{ij})$ eine symmetrische und positiv definite $n\times n$ Matrix.
• Wir bestimmen zunächst die charakteristische Funktion von normalverteilten Zufallvektoren.
• Zur Erinnerung: Die charakteristische Funktion $\varphi:\mathbb{R}^n\to\mathbb{C}$ eines beliebigen $n$-dimensionalen Zufallsvektors $(X_1,\ldots,X_n):\Omega\to\mathbb{R}^n$ ist gegeben durch

  $$\varphi({\mathbf{t}})={\mathbb{E}\,}\exp\Biggl({\rm i}\,\,\sum\li... ...l\Biggr)\,,\qquad\forall\, {\mathbf{t}}=(t_1,\ldots,t_n)^\top\in\mathbb{R}^n\,.$$ (41)

  
  

Theorem 3.8    

• Der Zufallsvektor $(X_1,\ldots,X_n):\Omega\to\mathbb{R}^n$ sei normalverteilt mit $(X_1,\ldots,X_n)\sim\,{\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$.
• Dann gilt für die charakteristische Funktion $\varphi:\mathbb{R}^n\to\mathbb{C}$ von $(X_1,\ldots,X_n)$, daß

  $$\varphi({\mathbf{t}})=\exp\Bigl({\rm i}\,{\mathbf{t}}^\top{\bolds... ...p{\mathbf{K}}{\mathbf{t}}\Bigr)\,,\qquad\forall\,{\mathbf{t}}\in\mathbb{R}^n\,.$$ (42)

  
  

Beweis

 

• Aus (33) und (41) folgt, daß
  

  $$\varphi({\mathbf{t}}) = \int\limits_{-\infty}^\infty \ldots \int\limits_{-\infty}^\infty ... ...\sum\limits_{\ell=1}^n t_\ell x_\ell \Biggr) f(x_1,\ldots,x_n)\,dx_1\ldots dx_n$$

  $$= \frac{1}{(2\pi)^{n/2}\, (\det {\mathbf{K}})^{1/2}} \int\limits_{-... ...\top {\mathbf{K}}^{-1}({\mathbf{x}}-{\boldsymbol{\mu}})\Bigr)\, dx_1\ldots dx_n$$

  $$= \frac{\exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})}{(2\pi)^... ...{2}\,{\mathbf{y}}^\top {\mathbf{K}}^{-1}{\mathbf{y}}\Bigr)\, dy_1\ldots dy_n\,,$$

  
  
  wobei sich die letzte Gleichheit mit Hilfe der Substitution ${\mathbf{y}}={\mathbf{x}}-{\boldsymbol{\mu}}$ ergibt, deren Jacobi-Determinante gleich $1$ ist.
• Auf ähnliche Weise wie im Beweis von Theorem 3.7 ergibt sich nun hieraus mit Hilfe der Substitutionen ${\mathbf{y}}={\mathbf{V}}{\mathbf{x}}$ und ${\mathbf{t}}={\mathbf{V}}{\mathbf{s}}$, daß
  

  $$\varphi({\mathbf{t}}) = \frac{\exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})}{(2\pi)^... ...athbf{V}}^\top{\mathbf{K}}^{-1}{\mathbf{V}}{\mathbf{x}}\Bigr)\, dx_1\ldots dx_n$$

  $$= \frac{\exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})}{(2\pi)^... ...\,s_\ell x_\ell -\,\frac{x_\ell^2}{2\lambda_\ell}\Bigr)\Bigr)\, dx_1\ldots dx_n$$

  $$= \frac{\exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})}{(2\pi)^... ...gl( {\rm i}\,\,s_\ell x_\ell -\,\frac{x_\ell^2}{2\lambda_\ell} \Bigr)\, dx_\ell$$

  $$= \exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}}) \prod\limits_{... ...{\rm i}\,\,s_\ell x_\ell -\,\frac{x_\ell^2}{2\lambda_\ell} \Bigr)\, dx_\ell \,,$$

  
  
  wobei die Matrix ${\mathbf{V}}$ aus den orthonormalen Eigenvektoren von ${\mathbf{K}}$ besteht und $\lambda_1,\ldots,\lambda_n>0$ die Eigenwerte von ${\mathbf{K}}$ sind.
• Nun genügt es zu beachten, daß $\varphi_\ell:\mathbb{R}\to\mathbb{C}$ mit
  $$\varphi_\ell(s)=\int\limits_{-\infty}^\infty \frac{1}{\sqrt{2\pi... ...a_\ell}}\;\exp\Bigl( {\rm i}\,\,s x -\,\frac{x^2}{2\lambda_\ell} \Bigr)\, dx$$
  die charakteristische Funktion der (eindimensionalen) N $(0,\lambda_\ell)$-Verteilung ist.
• Für diese Funktion hatten wir in Abschnitt WR-5.3.3 gezeigt, daß
  $$\varphi_\ell(s)=\exp\Bigl(-\;\frac{\lambda_\ell s^2}{2}\Bigr)\,.$$

• Es gilt somit
  

  $$\varphi({\mathbf{t}}) = \exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}}) \prod\limits_{\ell=1}^n \exp\Bigl(-\;\frac{\lambda_\ell s_\ell^2}{2}\Bigr)$$

  $$= \exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})\; \exp\Bigl(-\;\frac{\sum\limits_{\ell=1}^n\lambda_\ell s_\ell^2}{2}\Bigr)$$

  $$= \exp({\rm i}\,{\mathbf{t}}^\top{\boldsymbol{\mu}})\; \exp\Bigl(- \;\frac{{\mathbf{t}}^\top{\mathbf{K}}{\mathbf{t}}}{2}\Bigr)\,.$$

  
  
  
   
    $\Box$
  
  
  

Mit Hilfe der in Theorem 3.8 hergeleiteten Formel (42) für die charakteristische Funktion lassen sich nun der Erwartungswert und die Kovarianzmatrix von normalverteilten Zufallsvektoren bestimmen.

Korollar 3.1   $\;$ Falls $(X_1,\ldots,X_n)\sim\,{\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, dann gilt für beliebige $i,j=1,\ldots,n$

$${\mathbb{E}\,}X_i=\mu_i\,, \qquad {\rm Cov\,}(X_i,X_j)=k_{ij}\,.$$ (43)

Beweis

 

• Aus (42) folgt, daß

  $$\frac{\partial\, \varphi({\mathbf{t}})}{\partial t_i}= \Bigl({\rm i}\, \mu_i-\sum\limits_{\ell=1}^n k_{i\ell} t_\ell\Bigr) \varphi({\mathbf{t}})$$ (44)

  
  
  und

  $$\frac{\partial^2 \varphi({\mathbf{t}})}{\partial t_i\partial t_j}... ...i}\,\mu_j-\sum\limits_{\ell=1}^n k_{j\ell} t_\ell\Bigr)\varphi({\mathbf{t}})\,.$$ (45)

  
  

• Es gilt (vgl. Übungsaufgabe 7.1)
  $${\mathbb{E}\,}X_i={\rm i}\,^{-1}\;\frac{\partial\, \varphi({\mathbf{t}})}{\partial t_i}\;\Bigl\vert _{\;{\mathbf{t}}={\mathbf{o}}}\;.$$
  Wegen $\varphi({\mathbf{o}})=1$ ergibt sich nun hieraus und aus (44), daß ${\mathbb{E}\,}X_i=\mu_i$.
• Außerdem gilt (vgl. Übungsaufgabe 7.1)
  $${\mathbb{E}\,}(X_iX_j)=-\;\frac{\partial^2 \varphi({\mathbf{t}})}{\partial t_i\partial t_j}\;\Bigl\vert _{\;{\mathbf{t}}={\mathbf{o}}}\;.$$
  Hieraus und aus (45) ergibt sich, daß ${\rm Cov\,}(X_i,X_j)=k_{ij}$.
  
  $\Box$

Beachte

 

• In Theorem WR-4.14 hatten wir gezeigt, daß die Kovarianzmatrix ${\mathbf{K}}={\mathbf{K}}(X_1,\ldots,X_n)$ eines beliebigen Zufallsvektors $(X_1,\ldots,X_n)$ stets symmetrisch und nichtnegativ definit ist.
• In der Definition der multivariaten Normalverteilung wird zusätzlich vorausgesetzt, daß die Kovarianzmatrix ${\mathbf{K}}$ positiv definit ist.
• Dabei ist die positive Definitheit von ${\mathbf{K}}$ nicht nur hinreichend, sondern auch notwendig dafür, daß $\det {\mathbf{K}}\not=0$, d.h., daß ${\mathbf{K}}$ regulär ist bzw. vollen Rang hat.
• Ein (indirekter) probabilistischer Beweis dieser Behauptung kann wie folgt geführt werden.
• Wir nehmen an, daß es einen Vektor ${\mathbf{x}}\in\mathbb{R}$ mit ${\mathbf{x}}\not={\mathbf{o}}$ gibt, so daß ${\mathbf{x}}^\top{\mathbf{K}}{\mathbf{x}}=0$. Dann gilt
  

  $$= {\mathbf{x}}^\top{\mathbf{K}}{\mathbf{x}}$$ 0

  $$= \sum\limits_{i=1}^n\sum\limits_{j=1}^n {\rm Cov\,}\bigl(x_iX_i,\,x_jX_j\bigr)$$

  $$= {\rm Var\,}\Bigl(\sum\limits_{i=1}^n x_iX_i\Bigr)\,.$$

  
  

• Es gibt also eine Konstante $c\in\mathbb{R}$, so daß $\sum_{i=1}^n x_iX_i=c$ bzw. $X_1=x_1^{-1}c-\sum_{i=2}^n x_1^{-1}x_iX_i$, wobei wir o.B.d.A. voraussetzen, daß $x_1\not=0$.
• Für die Determinante $\det{\mathbf{K}}(X_1,\ldots,X_n)$ der Kovarianzmatrix des Zufallsvektors $(X_1,\ldots,X_n)$ folgt hieraus und aus der Identität ${\mathbf{K}}\bigl(x_1^{-1}c,X_2,\ldots,X_n\bigr)={\mathbf{K}}\bigl(0,X_2,\ldots,X_n\bigr)$, daß
  

  $$\det{\mathbf{K}}(X_1,\ldots,X_n) = \det{\mathbf{K}}\bigl(x_1^{-1}c,X_2,\ldots,X_n\bigr) -\sum\limits_{i=2}^n\det{\mathbf{K}}\bigl(x_1^{-1}x_iX_i,X_2,\ldots,X_n\bigr)$$

  $$= \det{\mathbf{K}}(0,X_2,\ldots,X_n)-\sum\limits_{i=2}^n\frac{x_i}{x_1}\; \det{\mathbf{K}}(X_i,X_2,\ldots,X_n)$$

  $$= 0\,,$$

  
  
  wobei sich die letzte Gleichheit aus der Tatsache ergibt, daß die Determinante gleich 0 ist, falls eine Zeile der Matrix der Nullvektor ist bzw. falls die Matrix zwei identische Spalten oder Zeilen besitzt.