Multiplikationsformel und Kovarianz

Definition

$\;$ Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariable, so dass

$${\mathbb{E}\,}\vert X_1\ldots X_n\vert<\infty\,.$$ (39)

Der Erwartungswert ${\mathbb{E}\,}(X_1\ldots\ X_n)$ des Produktes $X_1\ldots X_n$ heißt dann gemischtes Moment der Zufallsvariablen $X_1,\ldots,X_n$.

Beachte

$\;$ Man kann zeigen, dass die Integrierbarkeitsbedingung (39) erfüllt ist, falls ${\mathbb{E}\,}(\vert X_i\vert^n)<\infty$ für jedes $i\in\{1,\ldots,n\}$. Dies ergibt sich aus der Abschätzung

$$\vert X_1\ldots X_n\vert\le\sum\limits_{i=1}^n\vert X_i\vert^n{1\... ...}_{\{X_i\ge\max\{X_1,\ldots,X_n\}\}}\le \sum\limits_{i=1}^n\vert X_i\vert^n\,.$$

Mit Hilfe des Transformationssatzes für Zufallsvektoren, der in Theorem 4.8 diskutiert wurde, lässt sich nun die folgende Multiplikationsformel für den Erwartungswert des Produktes von $n$ unabhängigen Zufallsvariablen herleiten.

Theorem 4.9   Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ beliebige Zufallsvariablen mit ${\mathbb{E}\,}(\vert X_i\vert^n)<\infty$ für jedes $i\in\{1,\ldots,n\}$. Falls $X_1,\ldots,X_n$ unabhängig sind, dann gilt

$${\mathbb{E}\,}\Bigl(\prod\limits^n_{i=1}X_i\Bigr) =\prod\limits^n_{i=1}{\mathbb{E}\,}X_i \,.$$ (40)

Beweis

 

• Die Komponenten des Zufallsvektors $X=(X_1,\ldots,X_n)$ seien unabhängige Zufallsvariablen.
• Aus Theorem 4.8 ergibt sich dann mit $\varphi(x)=x_1\cdot\ldots\cdot x_n$ für $x=(x_1,\ldots,x_n)$, dass
  

  $${\mathbb{E}\,}\Bigl(\prod^n_{i=1}X_i\Bigr) = \int\limits_{\mathbb{R}^n}x_1\cdot\ldots\cdot x_n\, P_X(dx)$$

  $$= \int\limits_{\mathbb{R}}\ldots\int\limits_{\mathbb{R}}x_1\cdot\ldots\cdot x_n\, P_{X_1}(dx_1)\ldots P_{X_n}(dx_n)$$

  $$= \int\limits_{\mathbb{R}} x_1\, P_{X_1}(dx_1)\ldots\int\limits_{\mathbb{R}} x_n\,P_{X_n}(dx_n)$$

  $$= \prod\limits^n_{i=1}{\mathbb{E}\,}X_i \,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Die Linearitätseigenschaft des Erwartungswertes, die wir in Teilaussage 3 von Theorem 4.4 gezeigt haben, ist so für die Varianz nicht zutreffend.
• Für Summen von unabhängigen Zufallsvariablen gilt jedoch das folgende Additionstheorem für die Varianz.

Theorem 4.10   Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ unabhängige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ für jedes $i\in\{1,\ldots,n\}$. Dann gilt

$${\rm Var\,}(X_1+\ldots+X_n)={\rm Var\,}X_1+\ldots+{\rm Var\,}X_n\,.$$ (41)

Beweis

 

• Wir zeigen die Gültigkeit von (41) zunächst für den Fall $n=2$.
• Aus (27) und (40) ergibt sich, dass
  

  $${\rm Var\,}(X_1+X_2) \stackrel{(\ref{var.alt})}{=} {\mathbb{E}\,}\bigl((X_1+X_2)^2\bigr)-\bigl({\mathbb{E}\,}(X_1+X_2)\bigr)^2$$

  $$= \Bigl({\mathbb{E}\,}(X_1^2)+2{\mathbb{E}\,}(X_1X_2)+{\mathbb{E}\,... ...hbb{E}\,}X_1)^2+2{\mathbb{E}\,}X_1{\mathbb{E}\,}X_2+({\mathbb{E}\,}X_2)^2\Bigr)$$

  $$\stackrel{(\ref{mul.for})}{=} {\mathbb{E}\,}(X_1^2)-({\mathbb{E}\,}X_1)^2+{\mathbb{E}\,}(X_2^2) -({\mathbb{E}\,}X_2)^2$$

  $$\stackrel{(\ref{var.alt})}{=} {\rm Var\,}X_1+{\rm Var\,} X_2\,.$$

  
  

• Für beliebiges $n\in\mathbb{N}$ ergibt sich die Gültigkeit von (41) mittels vollständiger Induktion.
• Dabei verwenden wir die Tatsache, dass wegen Theorem 3.18 aus der Unabhängigkeit von $X_1,\ldots,X_n$ folgt, dass auch die Zufallsvariablen $X_1+\ldots+X_{n-1}$ und $X_n$ unabhängig sind.
• Deshalb gilt
  

  $${\rm Var\,}(X_1+\ldots+X_n) = {\rm Var\,}\bigl((X_1+\ldots+X_{n-1})+X_n\bigr)$$

  $$= {\rm Var\,}(X_1+\ldots+X_{n-1})+{\rm Var\,}(X_n)$$

  $$= {\rm Var\,}(X_1)+\ldots+{\rm Var\,}(X_{n-1})+{\rm Var\,}(X_n)\,,$$

  
  
  wobei sich die letzten beiden Gleichheiten aus der Induktionsannahme ergeben.
  
  $\Box$

Wir diskutieren nun Eigenschaften des gemischten Momentes ${\mathbb{E}\,}(X_1X_2)$ von zwei beliebigen (nicht notwendig unabhängigen) Zufallsvariablen $X_1,X_2$.

In diesem Zusammenhang führen wir zunächst die Begriffe der Kovarianz und des Korrelationskoeffizienten ein.

Definition

$\;$ Seien $X_1,X_2$ beliebige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ für $i=1,2$.

• Der Erwartungswert ${\mathbb{E}\,}\bigl((X_1-{\mathbb{E}\,}X_1)(X_2-{\mathbb{E}\,}X_2)\bigr)$ heißt die Kovarianz von $X_1$ und $X_2$, wobei wir die Schreibweise

  $${\rm Cov\,}(X_1,X_2)={\mathbb{E}\,}\bigl((X_1-{\mathbb{E}\,}X_1)(X_2-{\mathbb{E}\,} X_2)\bigr)$$ (42)

  
  
  verwenden.
• Die Zufallsvariablen $X_1,X_2$ heißen unkorreliert, falls ${\rm Cov\,}(X_1,X_2)=0$.
• Falls ${\rm Var\,}X_1>0$ und ${\rm Var\,}X_2>0$, dann heißt die Größe

  $$\varrho(X_1,X_2)= \frac{{\rm Cov\,}(X_1,X_2)}{\sqrt{{\rm Var\,}X_1\cdot{\rm Var\,}X_2}}$$ (43)

  
  
  der Korrelationskoeffizient von $X_1,X_2$.

Beachte

 

• Es ist klar, dass Kovarianz und Korrelationskoeffizient die folgende Symmetrieeigenschaft besitzt:

  $${\rm Cov\,}(X_1,X_2)={\rm Cov\,}(X_2,X_1)\,,\qquad \varrho(X_1,X_2)=\varrho(X_2,X_1)\,.$$ (44)

  
  

• Außerdem gilt

  $${\rm Cov\,}(X,X)={\rm Var\,}X\,,\qquad \varrho(X,X)=1\,.$$ (45)

  
  

Darüber hinaus gelten weitere nützliche Rechenregeln und Abschätzungen für Kovarianz bzw. Korrelationskoeffizient.

Theorem 4.11   Seien $X_1,X_2$ beliebige Zufallsvariablen mit ${\mathbb{E}\,}(X_i^2)<\infty$ für $i=1,2$.

1.

Dann gilt

$${\rm Cov\,}(X_1,X_2)={\mathbb{E}\,}(X_1X_2)-{\mathbb{E}\,}X_1{\mathbb{E}\,}X_2$$ (46)

2.

und für beliebige Zahlen $a,b,c,d\in\mathbb{R}$

$${\rm Cov\,}(aX_1+b,cX_2+d)=a\,c\,{\rm Cov\,}(X_1,X_2)\,.$$ (47)

3.

Außerdem gilt die Ungleichung von Cauchy-Schwarz

$${\mathbb{E}\,}\vert X_1 X_2\vert\leq \sqrt{{\mathbb{E}\,}(X_1^2){\mathbb{E}\,}(X_2^2)}\,,$$ (48)

bzw.

$$\vert{\rm Cov\,}(X_1, X_2)\vert\leq \sqrt{{\rm Var\,}X_1{\rm Var\,}X_2}\,.$$ (49)

Beweis

 

Zu 1)

$\;$ Die Formel (46) ergibt sich unmittelbar aus (16), denn es gilt

$${\rm Cov\,}(X_1,X_2) = {\mathbb{E}\,}\bigl((X_1-{\mathbb{E}\,}X_1)(X_2-{\mathbb{E}\,} X_2)\bigr)$$

$$= {\mathbb{E}\,}\bigl(X_1X_2-X_1{\mathbb{E}\,}X_2-X_2{\mathbb{E}\,}X_1+{\mathbb{E}\,}X_1{\mathbb{E}\,} X_2\bigr)$$

$$\stackrel{(\ref{sum.sum.erw})}{=} {\mathbb{E}\,}(X_1X_2)-{\mathbb{E}\,}X_1{\mathbb{E}\,}X_2\,.$$

Zu 2)

$\;$ Die Formel (47) ergibt sich durch eine ähnliche einfache Rechnung aus (16) und (46), und zwar gilt

$${\rm Cov\,}(aX_1+b,cX_2+d) \stackrel{(\ref{alt.cov})}{=} {\mathbb{E}\,}\bigl((aX_1+b)(cX_2+d)\bigr)-{\mathbb{E}\,}(aX_1+b){\mathbb{E}\,}(cX_2+d)$$

$$\stackrel{(\ref{sum.sum.erw})}{=} a\,c\,\bigl({\mathbb{E}\,}(X_1X_2)-{\mathbb{E}\,}X_1{\mathbb{E}\,}X_2\bigr)$$

$$\stackrel{(\ref{alt.cov})}{=} a\,c\,{\rm Cov\,}(X_1,X_2)\,.$$

Zu 3)

$\;$ Wir zeigen nun die Gültigkeit der Ungleichung (48).

• Falls ${\mathbb{E}\,}(X_1^2)=0$, dann gilt $P(X_1=0)=1$ und somit auch ${\mathbb{E}\,}(X_1X_2)=0\le \sqrt{{\mathbb{E}\,}(X_1^2){\mathbb{E}\,}(X_2^2)}$.
• Sei jetzt ${\mathbb{E}\,}(X_1^2)>0$. Dann gilt für jede Zahl $a\in\mathbb{R}$
  

  $$\le {\mathbb{E}\,}\bigl((a\,X_1+X_2)^2) = {\mathbb{E}\,}\bigl(a^2\,X_1^2+2a\,X_1X_2+X_2^2\bigr)$$ 0

  $$= a^2\,{\mathbb{E}\,}(X_1^2)+2a\,{\mathbb{E}\,}(X_1X_2)+{\mathbb{E}\,}(X_2^2)\,.$$

  
  

• Durch beidseitige Multiplikation mit ${\mathbb{E}\,}(X_1^2)$ bzw. quadratische Ergänzung ergibt sich hieraus, dass
  

  $$\le a^2\,\bigl({\mathbb{E}\,}(X_1^2)\bigr)^2+2a\,{\mathbb{E}\,}(X_1^2){\mathbb{E}\,}(X_1X_2)+ {\mathbb{E}\,}(X_1^2){\mathbb{E}\,}(X_2^2)$$ 0

  $$= \bigl(a\,{\mathbb{E}\,}(X_1^2)+{\mathbb{E}\,}(X_1 X_2)\bigr)^2 +{\mathbb{E}\,}(X_1^2){\mathbb{E}\,}(X_2^2)-\bigl({\mathbb{E}\,}(X_1X_2)\bigr)^2\,.$$

  
  

• Hieraus folgt (48) für $a=-{\mathbb{E}\,}(X_1X_2)/{\mathbb{E}\,}(X_1^2)$, wenn dabei gleichzeitig $X_1$ bzw. $X_2$ durch $\vert X_1\vert$ bzw. $\vert X_2\vert$ ersetzt wird.
• Die Gültigkeit von (49) ergibt sich unmittelbar aus (48), wenn in (48) die Zufallsvariablen $X_1$ bzw. $X_2$ durch $X_1-{\mathbb{E}\,}X_1$ bzw. $X_2-{\mathbb{E}\,}X_2$ ersetzt werden.
  
  $\Box$

Korollar 4.5    

1.

Falls $X_1$ und $X_2$ unabhängig sind, dann gilt

$${\rm Cov\,}(X_1,X_2)=0\,.$$ (50)

d.h., $X_1$ und $X_2$ sind unkorreliert.

2.

Falls ${\rm Var\,}X_1>0$ und ${\rm Var\,}X_2>0$, dann gilt

$$-1\le\varrho(X_1,X_2)\le 1\,.$$ (51)

Beweis

 

• Aus der Multiplikationsformel (40) und aus (46) ergibt sich, dass
  $${\rm Cov\,}(X_1,X_2)={\mathbb{E}\,}(X_1X_2)-{\mathbb{E}\,}X_1{\ma... ...X_2={\mathbb{E}\,}X_1{\mathbb{E}\,}X_2-{\mathbb{E}\,}X_1{\mathbb{E}\,}X_2=0\,.$$
  Damit ist (50) bewiesen.
• Die Ungleichungen in (51) ergeben sich unmittelbar aus der Ungleichung (49) von Cauchy-Schwarz und aus der Definitionsgleichung (43) des Korrelationskoeffizienten.
  
  $\Box$

Beachte

  Die Aussage 1 in Korollar 4.5 lässt sich im allgemeinen nicht umkehren, denn aus der Unkorreliertheit zweier Zufallsvariablen $X_1$ und $X_2$ folgt im allgemeinen nicht, dass $X_1$ und $X_2$ unabhängig sind.

Beispiel

$\;$ (zweimaliger Münzwurf)

• Seien $Y_1,Y_2:\Omega\to\{0,1\}$ zwei unabhängige (und identisch verteilte) Zufallsvariablen, die nur die beiden Werte 0 oder 1 annehmen können, mit
  $$P(Y_i=j)=\left\{\begin{array}{ll} \frac{1}{2}\,,&\mbox{falls $j=1$,}\\ \frac{1}{2}\,,&\mbox{falls $j=0$,} \end{array}\right.$$
  für $i=1,2$.
• Man kann sich leicht überlegen, dass dann die Zufallsvariablen $X_1=Y_1+Y_2$ und $X_2=Y_1-Y_2$ zwar unkorreliert, jedoch nicht unabhängig sind.
• Denn es gilt ${\mathbb{E}\,}X_1=1$, ${\mathbb{E}\,}X_2=0$ und ${\mathbb{E}\,}(X_1X_2)=0$. Andererseits gilt
  $$P(X_1=0,X_2=0)=\frac{1}{4}\qquad\not=\qquad \frac{1}{4}\,\frac{1}{2}=P(X_1=0)P(X_2=0)\,.$$