Erwartungswertvektor und Kovarianzmatrix

Wir zeigen zunächst, wie der Begriff der Kovarianz genutzt werden kann, um die in Theorem 4.10 angegebene Additionsformel (41) für die Varianz zu verallgemeinern.

Theorem 4.13   Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ für jedes $i\in\{1,\ldots,n\}$.

1.

$\;$ Dann gilt

$${\rm Var\,}(X_1+\ldots+X_n)=\sum\limits_{i=1}^n{\rm Var\,}X_i+ 2\sum\limits_{1\le j<k\le n} {\rm Cov\,}(X_j,X_k)\,.$$ (53)

2.

$\;$ Falls die Zufallsvariablen $X_1,\ldots,X_n$ paarweise unkorreliert sind, dann gilt insbesondere

$${\rm Var\,}(X_1+\ldots+X_n)={\rm Var\,}X_1+\ldots+{\rm Var\,}X_n\,.$$ (54)

Beweis

 

• Wir betrachten zunächst den Fall $n=2$.
• Dann ergibt sich sofort aus dem Beweis von Theorem 4.10, dass

  $${\rm Var\,}(X_1+X_2)={\rm Var\,}X_1+{\rm Var\,}X_2+2\,{\rm Cov\,}(X_1,X_2)\,.$$ (55)

  
  

• Für beliebiges $n\in\mathbb{N}$ ergibt sich die Gültigkeit von (53) nun mittels vollständiger Induktion.
• Und zwar erhalten wir aus (55) und aus der Induktionsannahme, dass
  

  $${\rm Var\,}(X_1+\ldots+X_n) = {\rm Var\,}\bigl((X_1+\ldots+X_{n-1})+X_n)\bigr)$$

  $$= {\rm Var\,}(X_1+\ldots+X_{n-1})+{\rm Var\,}(X_n)$$

  $$\hspace{3cm}+2{\rm Cov\,}(X_1+\ldots+X_{n-1},X_n)$$

  $$= {\rm Var\,}(X_1+\ldots+X_{n-1})+{\rm Var\,}(X_n)+2\sum\limits_{1\le j\le n-1}{\rm Cov\,}(X_j,X_n)$$

  $$\stackrel{Ind.-annahme}{=} \sum\limits_{i=1}^{n-1}{\rm Var\,}X_i+ 2\sum\limits_{1\le j<k\le n-1} {\rm Cov\,}(X_j,X_k)$$

  $$\hspace{3cm} +{\rm Var\,}(X_n) +2\sum\limits_{1\le j\le n-1}{\rm Cov\,}(X_j,X_n)$$

  $$= \sum\limits_{i=1}^n{\rm Var\,}X_i+ 2\sum\limits_{1\le j<k\le n} {\rm Cov\,}(X_j,X_k)\,.$$

  
  

• Die Gleichung (54) ergibt sich unmittelbar aus (50) und (53).
  
  $\Box$

Beachte

$\;$ Neben den Erwartungswerten ${\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,} X_n$ und den Varianzen ${\rm Var\,}X_1,\ldots,{\rm Var\,}X_n$ sind die in (53) auftretenden Kovarianzen $\{{\rm Cov\,}(X_i,X_j),\, 1\le i<j\le n\}$ wichtige Charakteristiken des Zufallsvektors $X=(X_1,\ldots,X_n)$.

Dies führt zu den folgenden Begriffsbildungen.

Definition

$\;$ Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ für jedes $i\in\{1,\ldots,n\}$.

1. Der Vektor $({\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,}X_n)$ heißt der Erwartungswertvektor des Zufallsvektors $X=(X_1,\ldots,X_n)$.
   Schreibweise: ${\mathbb{E}\,}X=({\mathbb{E}\,}X_1,\ldots,{\mathbb{E}\,}X_n)$
2. Die $n\times n$-Matrix
   $${\rm Cov\,}X=\left( \begin{matrix} {\rm Cov\,}(X_1,X_1) &\cdots &... ...&\cdots & {\rm Cov\,}(X_n,X_n) \end{matrix}\right) =({\rm Cov\,}(X_i,X_j))_{ij}$$
   heißt die Kovarianzmatrix von $X=(X_1,\ldots,X_n)$.

Theorem 4.14   Die Kovarianzmatrix ${\rm Cov\,}X$ ist

1.

symmetrisch, d.h., für beliebige $i,j\in\{1,\ldots,n\}$ gilt

$${\rm Cov\,}(X_i,X_j)={\rm Cov\,}(X_j,X_i)\,.$$ (56)

2.

nichtnegativ definit, d.h., für jedes $x\in\mathbb{R}^n$ gilt

$$x\,{\rm Cov\,}X\, x^\top \ge 0\,,$$ (57)

wobei $x^\top$ der zu $x$ transponierte Vektor ist.

Beweis

 

• Die Symmetrieeigenschaft (56) ergibt sich unmittelbar aus der Definitionsgleichung (42) der Kovarianz.
• Außerdem gilt
  

  $$x\,{\rm Cov\,}X\, x^\top = \sum\limits_{i,j=1}^n x_i {\rm Cov\,}(X_i,X_j)x_j$$

  $$= \sum\limits_{i=1}^n x_i {\rm Cov\,}\Bigl(X_i,\sum\limits_{j=1}^n x_jX_j\Bigr)$$

  $$= {\rm Cov\,}\Bigl(\sum\limits_{i=1}^n x_i X_i,\sum\limits_{j=1}^n x_jX_j\Bigr)$$

  $$= {\rm Var\,}\Bigl(\sum\limits_{i=1}^n x_i X_i\Bigr)\ge 0\,.$$

  
  

• Damit ist auch die Ungleichung (57) bewiesen.
  
  $\Box$

Beachte

$\;$ Die Matrix ${\rm Cov\,}X$ heißt positiv definit, falls

$$x\,{\rm Cov\,}X\, x^\top > 0$$ (58)

für jedes $x\in\mathbb{R}^n$ mit $x\not= 0$.

Beispiel

$\;$ (zweidimensionale Normalverteilung) 

• Betrachten nun eine (weitere) Verallgemeinerung der zweidimensionalen Normalverteilung, die in Abschnitt 3.3.6 eingeführt wurde.
• Seien $\mu_1,\mu_2\in\mathbb{R}$, $\sigma_1,\sigma_2>0$ und $\varrho\in[0,1)$ beliebige, jedoch fest vorgegebene Zahlen.
• Sei $X=(X_1,X_2)$ ein absolutstetiger Zufallsvektor mit der gemeinsamen Dichte

  $$f_X(x_1,x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\varrho^2}} \... ...u_2}{\sigma_2}\bigr)+ \bigl(\frac{x_2-\mu_2}{\sigma_2}\bigr)^2 \Bigr) \Bigr)\,.$$ (59)

  
  

• Dann heißt $X$ normalverteilt mit dem Erwartungswertvektor ${\mathbb{E}\,}X=(\mu_1,\mu_2)$ und der Kovarianzmatrix

  $${\rm Cov\,}X= \left(\begin{matrix}\sigma_1^2 & \sigma_1\sigma_2\varrho\\ \sigma_1\sigma_2\varrho & \sigma_2^2 \end{matrix}\right)\,.$$ (60)

  
  

Beachte

 

• Die Verteilung eines normalverteilten Zufallsvektors $X=(X_1,X_2)$ wird eindeutig durch den Erwartungswertvektor ${\mathbb{E}\,}X=(\mu_1,\mu_2)$ und die Kovarianzmatrix ${\rm Cov\,}X$ bestimmt. Für beliebige (nicht normalverteilte) Zufallsvektoren gilt diese Eindeutigkeitsaussage jedoch im allgemeinen nicht.
• Es gilt $\varrho=\varrho(X_1,X_2)$. Außerdem ergibt sich aus (59), dass $f_X(x_1,x_2)=f_{X_1}(x_1)f_{X_2}(x_2)$ genau dann, wenn $\varrho=0$. Die Komponenten $X_1,X_2$ eines normalverteilten Zufallsvektors $X=(X_1,X_2)$ sind also genau dann unabhängig, wenn sie unkorreliert sind.
• Weil $\varrho<1$ vorausgesetzt wird, ist die Determinante der Kovarianzmatrix ${\rm Cov\,}X$ nicht Null, d.h., die Matrix ${\rm Cov\,}X$ ist positiv definit und invertierbar. Man kann sich deshalb leicht überlegen, dass die in (59) gegebenen Dichte $f_X$ von $X$ auch wie folgt dargestellt werden kann: Es gilt

  $$f_X(x)=\Bigl(\frac{1}{\sqrt{2\pi}}\Bigr)^2 \frac{1}{\sqrt{\det K}}\exp\Bigl(-\frac{1}{2}(x-\mu) K^{-1}(x-\mu)^\top\Bigr)$$ (61)

  
  
  für jedes $x=(x_1,x_2)\in\mathbb{R}^2$, wobei $\mu=(\mu_1,\mu_2)$ und $K^{-1}$ die inverse Matrix zu der in (60) gegebenen Kovarianzmatrix $K={\rm Cov\,}X$ bezeichnet.
  Schreibweise: $X\sim$ N$(\mu,K)$.
• Man kann sich leicht überlegen, dass die Randverteilungen von $X\sim$ N$(\mu,K)$ (eindimensionale) Normalverteilungen sind mit $X_i\sim$ N $(\mu_i,\sigma_i^2)$ für $i=1,2$.
• Manchmal betrachtet man auch Zufallsvektoren $X=(X_1,X_2)$, deren Komponenten $X_1,X_2$ normalverteilt sind mit $\vert\varrho(X_1,X_2)\vert=1$. Aus Theorem 4.12 folgt dann, dass $P(X_2=a\,X_1+b)=1$ für ein Zahlenpaar $a,b\in\mathbb{R}$. In diesem Fall ist der Zufallsvektor $X=(X_1,X_2)$ nicht absolutstetig, obwohl seine Komponenten diese Eigenschaft besitzen.

Für Zufallsvektoren mit einer beliebigen Dimension $n\in\mathbb{N}$ kann man den Begriff der $n$-dimensionalen Normalverteilung einführen, indem man eine zu (61) analoge Dichte-Formel betrachtet.

Definition

 

• Sei $\mu=(\mu_1,\ldots,\mu_n)\in\mathbb{R}^n$ ein beliebiger Vektor, und sei $K$ eine symmetrische und positiv definite $n\times n$-Matrix.
• Sei $X=(X_1,\ldots,X_n)$ ein absolutstetiger Zufallsvektor mit der gemeinsamen Dichte

  $$f_X(x)=\Bigl(\frac{1}{\sqrt{2\pi}}\Bigr)^n \frac{1}{\sqrt{\det K}}\exp\Bigl(-\frac{1}{2}(x-\mu) K^{-1}(x-\mu)^\top\Bigr)$$ (62)

  
  
  für jedes $x=(x_1,\ldots,x_n)\in\mathbb{R}^n$.
• Man sagt dann, dass der Zufallsvektor $X=(X_1,\ldots,X_n)$ normalverteilt ist mit dem Erwartungswertvektor $\mu=(\mu_1,\ldots,\mu_n)$ und der Kovarianzmatrix $K$.