Linearer Zusammenhang von Zufallsvariablen

Die Korrelation $\varrho(X_1,X_2)$ zweier Zufallsvariablen $X_1$ und $X_2$ mit $0<$Var $X_1,$Var $X_2<\infty$ kann man als Grad ihres linearen (stochastischen) ,,Zusammenhanges'' auffassen.

Eine genauere Formulierung dieses Phänomens liefert

Theorem 4.12

$\;$ Seien $a,b\in\mathbb{R}$ beliebige Zahlen, und $X_1$, $X_2$ seien Zufallsvariable mit $0<$Var $X_1,$Var $X_2<\infty$.

1. Die erwartete quadratische Abweichung ${\mathbb{E}\,}\bigl((X_2-(a\,X_1+b))^2\bigr)$ zwischen den Zufallsvariablen $X_2$ und $a\,X_1+b$ ist minimal, wenn $a$ und $b$ wie folgt gewählt werden:

   $$a=\varrho(X_1,X_2)\frac{\sqrt{\text{Var\,} X_2}}{\sqrt{\text{Var\,}X_1}}\,,\qquad b={\mathbb{E}\,}X_2-a\,{\mathbb{E}\,}X_1\,.$$ (30)

   
   

2. Insbesondere gilt ${\mathbb{E}\,}\bigl((X_2-(a\,X_1+b))^2\bigr)=0$, d.h. $P(X_2=a\,X_1+b)=1$ genau dann, wenn
   $$\vert\varrho(X_1,X_2)\vert=1\,.$$

Beweis

$\;$

• Betrachten die Zufallsvariable $Y=X_2-(a\,X_1+b)$.
• Wegen (17) hängt dann Var $Y$ nicht von $b$ ab.
• Deshalb kann man bei der Minimierung von
  $${\mathbb{E}\,}(Y^2)=({\mathbb{E}\,}Y)^2+$$Var $$Y$$
  zunächst $({\mathbb{E}\,}Y)^2$ für jedes feste $a$ durch die entsprechende Wahl von $b$ minimieren.
• Es ist klar, daß $({\mathbb{E}\,}Y)^2$ für $b={\mathbb{E}\,}X_2-a\,{\mathbb{E}\,} X_1$ minimal ist, weil dann ${\mathbb{E}\,}Y=0$ gilt.
• Es ist nun noch $a$ so zu bestimmen, daß
  

  $$Y = {\mathbb{E}\,}\Bigl(\bigl((X_2-{\mathbb{E}\,}X_2)-a(X_1-{\mathbb{E}\,} X_1)\bigr)^2\Bigr)$$

  $$= X_2-2a\, (X_1,X_2)+a^2 X_1$$

  $$= X_1\Bigl(a-\frac{\text{Cov\,}(X_1,X_2)}{\text{Var\,}X_1}\Bigr)^2 ... ...\Bigl(1-\frac{(\text{Cov\,}(X_1,X_2))^2}{\text{Var\,}X_1\text{Var\,} X_2}\Bigr)$$

  
  
  minimal wird, wobei sich die letzte Gleichung durch quadratische Ergänzung ergibt.
• Hieraus folgt, daß Var $Y$ minimal ist, falls
  $$a=\frac{\text{Cov\,}(X_1,X_2)}{\text{Var\,} X_1}=\varrho(X_1,X_2)\frac{\sqrt{\text{Var\,}X_2}}{\sqrt{\text{Var\,} X_1}}\,.$$

• Außerdem folgt hieraus, daß ${\mathbb{E}\,}(Y^2)=0$ genau dann, wenn $\vert\varrho(X_1,X_2)\vert=1$.