Erwartungswertvektor und Kovarianzmatrix

Wir zeigen zunächst, wie der Begriff der Kovarianz genutzt werden kann, um das in Korollar 4.8 angegebene Additionstheorem (20) für Varianzen zu verallgemeinern.

Theorem 4.13

Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariable mit ${\mathbb{E}\,}(X_i^2)<\infty$ für jedes $i\in\{1,\ldots,n\}$. Dann gilt

$$(X_1+\ldots+X_n)=\sum\limits_{i=1}^n X_i+ 2\sum\limits_{1\le j<k\le n} (X_j,X_k)\,.$$ (31)

Falls die Zufallsvariablen $X_1,\ldots,X_n$ paarweise unkorreliert sind, dann gilt insbesondere

$$(X_1+\ldots+X_n)= X_1+\ldots+ X_n\,.$$ (32)

Beweis

 

• Wir betrachten zunächst den Fall $n=2$.
• Dann ergibt sich sofort aus dem Beweis von Korollar 4.8, daß
     Var $$(X_1+X_2)=$$Var $$X_1+$$Var $$X_2+2\,$$Cov $$(X_1,X_2)\,.$$

• Für beliebiges $n\in\mathbb{N}$ ergibt sich die Gültigkeit von (31) nun mittels vollständiger Induktion.
• Die Gleichung (32) ergibt sich unmittelbar aus (28) und (31).

Beachte

$\;$ Neben den Erwartungswerten ${\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,} X_n$ und den Varianzen Var $X_1,\ldots,$Var $X_n$ sind die in (31) auftretenden Kovarianzen $\{$Cov $(X_i,X_j),\, 1\le i<j\le n\}$ wichtige Charakteristiken des Zufallsvektors $X=(X_1,\ldots,X_n)$.

Dies führt zu den folgenden Begriffsbildungen.

Definition 4.14

$\;$ Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariable mit ${\mathbb{E}\,}(X_i^2)<\infty$ für jedes $i\in\{1,\ldots,n\}$.

1. Der Vektor $({\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,}X_n)$ heißt der Erwartungswertvektor des Zufallsvektors $X=(X_1,\ldots,X_n)$.
   Schreibweise: ${\mathbb{E}\,}X=({\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,}X_n)$
2. Die $n\times n$-Matrix
      Cov $$X=\left( \begin{matrix} \text{Cov\,}(X_1,X_1) &\cdots & \text{Cov... ... \text{Cov\,}(X_n,X_1) &\cdots & \text{Cov\,}(X_n,X_n) \end{matrix}\right) =($$Cov $$(X_i,X_j))_{ij}$$
   heißt die Kovarianzmatrix von $X=(X_1,\ldots,X_n)$.

Theorem 4.15

$\;$ Die Kovarianzmatrix Cov $X$ ist

1. symmetrisch, d.h., für beliebige $i,j\in\{1,\ldots,n\}$ gilt

   $$(X_i,X_j)= (X_j,X_i)\,.$$ (33)

   
   

2. nichtnegativ definit, d.h., für jedes $x\in\mathbb{R}^n$ gilt

   $$x^\top X\, x\ge 0\,,$$ (34)

   
   
   wobei $x^\top$ ist der zu $x$ transponierte Vektor ist.

Beweis

 

• Die Symmetrieeigenschaft (33) ergibt sich unmittelbar aus der Definition 4.9 der Kovarianz.
• Die Ungleichung (34) ergibt sich durch eine einfache Rechnung aus (15) und aus der Definition 4.9 der Kovarianz.

Beachte

$\;$ Die Matrix Cov $X$ heißt positiv definit, falls

$$x^\top X\, x> 0$$ (35)

für jedes $x\in\mathbb{R}^n$ mit $x\not= 0$.

Beispiel

$\;$ (zweidimensionale Normalverteilung)

• Betrachten eine (weitere) Verallgemeinerung der zweidimensionalen Normalverteilung, die in Abschnitt 3.5.3 eingeführt wurde.
• Seien $\mu_1,\mu_2\in\mathbb{R}$, $\sigma_1,\sigma_2>0$ und $\varrho\in[0,1)$ beliebige, jedoch fest vorgegebene Zahlen.
• Sei $X=(X_1,X_2)$ ein absolutstetiger Zufallsvektor mit der gemeinsamen Dichte

  $$f_X(x_1,x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\varrho^2}} \... ...2}{2\sigma_2}\bigr)+ \bigl(\frac{x_2-\mu_2}{2\sigma_2}\bigr)^2 \Bigr) \Bigr)\,.$$ (36)

  
  

• Dann heißt $X$ normalverteilt mit dem Erwartungswertvektor ${\mathbb{E}\,}X=(\mu_1,\mu_2)$ und der Kovarianzmatrix

  $$X= \left(\begin{matrix}\sigma_1^2 & \sigma_1\sigma_2\varrho\\ \sigma_1\sigma_2\varrho & \sigma_2^2 \end{matrix}\right)\,.$$ (37)

  
  

Beachte

 

• Die Verteilung eines normalverteilten Zufallsvektors $X=(X_1,X_2)$ wird eindeutig durch den Erwartungswertvektor ${\mathbb{E}\,}X=(\mu_1,\mu_2)$ und die Kovarianzmatrix Cov $X$ bestimmt. Für beliebige (nicht normalverteilte) Zufallsvektoren gilt diese Eindeutigkeitsaussage jedoch im allgemeinen nicht.
• Es gilt $\varrho=\varrho(X_1,X_2)$. Außerdem ergibt sich aus (36), daß $f_X(x_1,x_2)=f_{X_1}(x_1)f_{X_2}(x_2)$ genau dann, wenn $\varrho=0$. Die Komponenten $X_1,X_2$ eines normalverteilten Zufallsvektors $X=(X_1,X_2)$ sind also genau dann unabhängig, wenn sie unkorreliert sind.
• Weil $\varrho<1$ vorausgesetzt wird, ist die Determinante der Kovarianzmatrix Cov $X$ nicht Null, d.h., die Matrix Cov $X$ ist positiv definit und invertierbar. Man kann sich deshalb leicht überlegen, daß die in (36) gegebenen Dichte $f_X$ von $X$ auch wie folgt dargestellt werden kann: Es gilt

  $$f_X(x)=\Bigl(\frac{1}{\sqrt{2\pi}}\Bigr)^2 \frac{1}{\sqrt{\det K}}\exp\Bigl(-\frac{1}{2}(x-\mu)^\top K^{-1}(x-\mu)\Bigr)$$ (38)

  
  
  für jedes $x=(x_1,x_2)\in\mathbb{R}^2$, wobei $\mu=(\mu_1,\mu_2)$ und $K^{-1}$ die inverse Matrix zu der in (37) gegebenen Kovarianzmatrix $K=$Cov $X$ bezeichnet.
  Schreibweise: $X\sim$ N$(\mu,K)$.
• Man kann sich leicht überlegen, daß die Randverteilungen von $X\sim$ N$(\mu,K)$ (eindimensionale) Normalverteilungen sind mit $X_i\sim$ N $(\mu_i,\sigma_i^2)$ für $i=1,2$.
• Manchmal betrachtet man auch Zufallsvektoren $X=(X_1,X_2)$, deren Komponenten $X_1,X_2$ normalverteilt sind mit $\vert\varrho(X_1,X_2)\vert=1$. Aus Theorem 4.12 folgt dann, daß $P(X_2=a\,X_1+b)=1$ für ein Zahlenpaar $a,b\in\mathbb{R}$. In diesem Fall ist der Zufallsvektor $X=(X_1,X_2)$ nicht absolutstetig, obwohl seine Komponenten diese Eigenschaft besitzen.

Für Zufallsvektoren mit einer beliebigen Dimension $n\in\mathbb{N}$ kann man den Begriff der $n$-dimensionalen Normalverteilung einführen, indem man eine zu (38) analoge Dichte-Formel betrachtet.

Definition 4.16

 

• Sei $\mu=(\mu_1,\ldots,\mu_n)\in\mathbb{R}^n$ ein beliebiger Vektor, und sei $K$ eine symmetrische und positiv definite $n\times n$-Matrix.
• Sei $X=(X_1,\ldots,X_n)$ ein absolutstetiger Zufallsvektor mit der gemeinsamen Dichte

  $$f_X(x)=\Bigl(\frac{1}{\sqrt{2\pi}}\Bigr)^n \frac{1}{\sqrt{\det K}}\exp\Bigl(-\frac{1}{2}(x-\mu)^\top K^{-1}(x-\mu)\Bigr)$$ (39)

  
  
  für jedes $x=(x_1,\ldots,x_n)\in\mathbb{R}^n$.
• Man sagt dann, daß $X=(X_1,\ldots,X_n)$ normalverteilt ist mit dem Erwartungswertvektor $\mu=(\mu_1,\ldots,\mu_n)$ und der Kovarianzmatrix $K$.