Linearer Zusammenhang von Zufallsvariablen

Die Korrelation $\varrho(X_1,X_2)$ zweier Zufallsvariablen $X_1$ und $X_2$ mit $0<{\rm Var\,}X_1,{\rm Var\,}X_2<\infty$ kann man als Grad ihres linearen (stochastischen) ,,Zusammenhanges'' auffassen.

Theorem 4.12   Seien $a,b\in\mathbb{R}$ beliebige Zahlen, und $X_1$, $X_2$ seien Zufallsvariablen mit $0<{\rm Var\,}X_1,{\rm Var\,}X_2<\infty$.

1.

$\;$ Die erwartete quadratische Abweichung ${\mathbb{E}\,}\bigl((X_2-(a\,X_1+b))^2\bigr)$ zwischen den Zufallsvariablen $X_2$ und $a\,X_1+b$ ist minimal, wenn $a$ und $b$ wie folgt gewählt werden:

$$a=\varrho(X_1,X_2)\frac{\sqrt{{\rm Var\,} X_2}}{\sqrt{{\rm Var\,}X_1}}\,,\qquad b={\mathbb{E}\,}X_2-a\,{\mathbb{E}\,}X_1\,.$$ (52)

2.

$\;$ Insbesondere gilt ${\mathbb{E}\,}\bigl((X_2-(a\,X_1+b))^2\bigr)=0$, d.h. $P(X_2=a\,X_1+b)=1$ genau dann, wenn

$$\vert\varrho(X_1,X_2)\vert=1\,.$$

Beweis

$\;$

• Betrachten die Zufallsvariable $Y=X_2-(a\,X_1+b)$.
• Wegen (28) hängt dann ${\rm Var\,}Y$ nicht von $b$ ab.
• Deshalb kann man bei der Minimierung von
  $${\mathbb{E}\,}(Y^2)=({\mathbb{E}\,}Y)^2+{\rm Var\,}Y$$
  zunächst $({\mathbb{E}\,}Y)^2$ für jedes feste $a$ durch die entsprechende Wahl von $b$ minimieren.
• Es ist klar, dass $({\mathbb{E}\,}Y)^2$ für $b={\mathbb{E}\,}X_2-a\,{\mathbb{E}\,} X_1$ minimal ist, weil dann ${\mathbb{E}\,}Y=0$ gilt.
• Es ist nun noch $a$ so zu bestimmen, dass
  

  $${\rm Var\,}Y = {\mathbb{E}\,}\Bigl(\bigl((X_2-{\mathbb{E}\,}X_2)-a(X_1-{\mathbb{E}\,} X_1)\bigr)^2\Bigr)$$

  $$= {\rm Var\,}X_2-2a\,{\rm Cov\,}(X_1,X_2)+a^2{\rm Var\,}X_1$$

  $$= {\rm Var\,}X_1\Bigl(a-\frac{{\rm Cov\,}(X_1,X_2)}{{\rm Var\,}X_1}... ...X_2\Bigl(1-\frac{({\rm Cov\,}(X_1,X_2))^2}{{\rm Var\,}X_1{\rm Var\,} X_2}\Bigr)$$

  
  
  minimal wird, wobei sich die letzte Gleichung durch quadratische Ergänzung ergibt.
• Hieraus folgt, dass ${\rm Var\,}Y$ minimal ist, falls
  $$a=\frac{{\rm Cov\,}(X_1,X_2)}{{\rm Var\,} X_1}=\varrho(X_1,X_2)\frac{\sqrt{{\rm Var\,}X_2}}{\sqrt{{\rm Var\,} X_1}}\,.$$

• Außerdem folgt hieraus, dass ${\mathbb{E}\,}(Y^2)=0$ genau dann, wenn $\vert\varrho(X_1,X_2)\vert=1$.
  
  $\Box$