Definition, Erwartungswert und Kovarianz

Definition

 

• Seien ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ und ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top$ beliebige $n$-dimensionale Zufallsvektoren, und sei ${\mathbf{A}}$ eine symmetrische $n\times n$ Matrix mit reellwertigen Eintragungen.
• Dann heißt die (reellwertige) Zufallsvariable ${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}:\Omega\to\mathbb{R}$ quadratische Form von ${\mathbf{Y}}$ bezüglich ${\mathbf{A}}$.
• Die Zufallsvariable ${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}:\Omega\to\mathbb{R}$ heißt bilineare Form von ${\mathbf{Y}}$ und ${\mathbf{Z}}$ bezüglich ${\mathbf{A}}$.

Zunächst bestimmen wir den Erwartungswert von quadratischen bzw. bilinearen Formen.

Theorem 1.5   $\;$ Seien ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ und ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top$ beliebige $n$-dimensionale Zufallsvektoren, und sei ${\mathbf{A}}$ eine symmetrische $n\times n$ Matrix mit reellwertigen Eintragungen. Die Erwartungswertvektoren ${\boldsymbol{\mu}}_{\mathbf{Y}}={\mathbb{E} }{\mathbf{Y}}$ und ${\boldsymbol{\mu}}_{\mathbf{Z}}={\mathbb{E} }{\mathbf{Z}}$ sowie die Kovarianzmatrizen ${\mathbf{K}}_{{\mathbf{Y}}{\mathbf{Y}}}=\bigl({\rm Cov }(Y_i,Y_j)\bigr)$ und ${\mathbf{K}}_{{\mathbf{Z}}{\mathbf{Y}}}=\bigl({\rm Cov }(Z_i,Y_j)\bigr)$ seien wohldefiniert. Dann gilt

$${\mathbb{E} }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}\big... ...{\boldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Y}} \qquad {\mathbb{E} }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{... ...oldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Z}} .$$ (26)

Beweis

 

• Wir beweisen nur die zweite Formel in (26), denn die erste Formel ergibt sich hieraus als Spezialfall für ${\mathbf{Z}}={\mathbf{Y}}$.
• Offenbar gilt ${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}={ {\rm sp}}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$. Außerdem folgt aus Lemma 1.1, dass ${ {\rm sp}}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)= { {\rm sp}}\bigl({\mathbf{A}}{\mathbf{Z}}{\mathbf{Y}}^\top\bigr)$.
• Insgesamt ergibt sich also, dass
  

  $${\mathbb{E} }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr) = {\mathbb{E} } { {\rm sp}}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\m... ...,{\rm sp}}\bigl({\mathbf{A}}{\mathbb{E} }({\mathbf{Z}}{\mathbf{Y}}^\top)\bigr)$$

  $$= { {\rm sp}}\bigl({\mathbf{A}}({\mathbf{K}}_{{\mathbf{Z}}{\mathbf... ...oldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Z}} .$$

  
  
  
   
    $\Box$
  
  
  

Auf ähnliche Weise lässt sich eine Formel für die Kovarianz von quadratischen Formen normalverteilter Zufallsvektoren herleiten. Dabei sind die folgenden Formeln für die dritten bzw. vierten gemischten Momente der Komponenten von zentrierten normalverteilten Zufallsvektoren nützlich.

Lemma 1.11   Sei ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top\sim {\rm N}({\mathbf{o}},{\mathbf{K}})$ ein normalverteilter Zufallsvektor mit Erwartungswertvektor ${\boldsymbol{\mu}}={\mathbf{o}}$ und mit beliebiger Kovarianzmatrix ${\mathbf{K}}=(k_{ij})$. Dann gilt

$${\mathbb{E} }(Z_iZ_jZ_\ell)=0 \quad {\mathbb{E} }(Z_iZ_jZ_\ell Z_m)=k_{ij}k_{\ell m}+k_{i\ell}k_{jm}+k_{j\ell}k_{im}\qquad\forall\;i,j,\ell,m\in\{1,\ldots,n\} .$$ (27)

Der Beweis von Lemma 1.11 wird hier weggelassen und in den Übungen diskutiert, vgl. Übungsaufgabe 2.3.

Theorem 1.6    

• Sei ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ ein $n$-dimensionaler Zufallsvektor mit ${\mathbf{Y}}\sim {\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, und seien ${\mathbf{A}}=(a_{ij})$, ${\mathbf{B}}=(b_{ij})$ beliebige symmetrische $n\times n$ Matrizen.
• Dann gilt

  $${\rm Cov }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}, {\ma... ...\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}} .$$ (28)

  
  

• Insbesondere gilt ${\rm Var }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}\bigr)=2{ {\rm sp}}... ...+4{\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{A}}{\boldsymbol{\mu}}$.

Beweis

 

• Aus der Definition der Kovarianz und aus Theorem 1.5 ergibt sich, dass
  

  $${\rm Cov }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E} }\bigl(({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}-{\... ...}{\mathbf{Y}} -{\mathbb{E} }({\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}))\bigr)$$

  $$= {\mathbb{E} }\bigl(({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}- {... ...}{\mathbf{K}}) -{\boldsymbol{\mu}}^\top{\mathbf{B}}{\boldsymbol{\mu}})\bigr) .$$

  
  

• Mit der Substitution ${\mathbf{Z}}={\mathbf{Y}}-{\boldsymbol{\mu}}$ bzw. ${\mathbf{Y}}={\mathbf{Z}}+{\boldsymbol{\mu}}$ ergibt sich hieraus, dass
  

  $${\rm Cov }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E} }\bigl(({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}+2{... ...mu}}^\top{\mathbf{B}}{\mathbf{Z}}-{ {\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr)$$

  $$= {\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\ma... ...{\mathbb{E} }\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$$

  $$-{\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bi... ...bf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr){ {\rm sp}}({\mathbf{A}}{\mathbf{K}})$$

  $$+4{\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\bo... ...}}+{ {\rm sp}}({\mathbf{A}}{\mathbf{K}}){ {\rm sp}}({\mathbf{B}}{\mathbf{K}})$$

  $$= {\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\ma... ...{\mathbb{E} }\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$$

  $$+4{\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\bo... ...{ {\rm sp}}({\mathbf{A}}{\mathbf{K}}){ {\rm sp}}({\mathbf{B}}{\mathbf{K}}) ,$$

  
  
  wobei sich die letzte Gleichheit aus Theorem 1.5 ergibt, weil $Z\sim$ N $({\mathbf{o}},{\mathbf{K}})$ und somit ${\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)={ {\rm sp}}({\mathbf{A}}{\mathbf{K}})$ gilt.
• Weil die Matrizen ${\mathbf{A}}$, ${\mathbf{B}}$ und ${\mathbf{K}}$ symmetrisch sind, ergibt sich aus Lemma 1.11, dass
  

  $${\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr) = {\mathbb{E} }\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}} \cdot {\mathbf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr)$$

  $$= \sum\limits_{i=1}^n\sum\limits_{j=1}^n\sum\limits_{\ell=1}^n\sum\limits_{ m=1}^n a_{ij}b_{\ell m}{\mathbb{E} }(Z_iZ_jZ_\ell Z_m)$$

  $$= \sum\limits_{i=1}^n\sum\limits_{j=1}^n\sum\limits_{\ell=1}^n\sum\... ...k_{m\ell}+a_{ji}k_{i\ell}b_{\ell m}k_{mj}+a_{ij}k_{j\ell}b_{\ell m}k_{mi}\bigr)$$

  $$= { {\rm sp}}({\mathbf{A}}{\mathbf{K}}){ {\rm sp}}({\mathbf{B}}{\mathbf{K}})+2{ {\rm sp}}({\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\mathbf{K}}) .$$

  
  

• Außerdem ergibt sich aus Lemma 1.11, dass

  $${\mathbb{E} }\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\ma... ...\sum\limits_{j=1}^n a_{ij}{\mathbb{E} }(Z_iZ_jZ_\ell)\Biggr)_\ell={\mathbf{o}}$$ (29)

  
  
  und entsprechend ${\mathbb{E} }\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr) ={\mathbf{o}}$.
• Zusammen mit dem oben hergeleiteten Ausdruck für ${\rm Cov }\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr)$ ergibt sich nun hieraus die Behauptung.
  
  $\Box$

Wir leiten nun noch die folgende Formel für den Kovarianzvektor von linearen bzw. quadratischen Formen normalverteilter Zufallsvektoren her.

Theorem 1.7   $\;$ Sei ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ ein $n$-dimensionaler Zufallsvektor mit ${\mathbf{Y}}\sim {\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, und seien ${\mathbf{A}}=(a_{ij})$, ${\mathbf{B}}=(b_{ij})$ beliebige symmetrische $n\times n$ Matrizen. Dann gilt

$${\rm Cov }\bigl({\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\ma... ...{\mathbf{Y}}\bigr) =2 {\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}} .$$ (30)

Beweis

 

• Weil ${\mathbb{E} }({\mathbf{A}}{\mathbf{Y}})={\mathbf{A}}{\boldsymbol{\mu}}$ und weil in Theorem 1.5 gezeigt wurde, dass
  $${\mathbb{E} }\bigl({\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\big... ...hbf{B}}{\mathbf{K}}) +{\boldsymbol{\mu}}^\top{\mathbf{B}}{\boldsymbol{\mu}} ,$$
  ergibt sich, dass
  

  $${\rm Cov }\bigl({\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E} }\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bold... ...op{\mathbf{B}}{\boldsymbol{\mu}} -{ {\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr)$$

  $$= {\mathbb{E} }\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bold... ...{\mathbf{B}}{\boldsymbol{\mu}}-{ {\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr) .$$

  
  

• Außerdem gilt ${\mathbb{E} }({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\boldsymbol{\mu}})={\mathbf{o}}$, und aus (29) folgt mit ${\mathbf{Z}}={\mathbf{Y}}-{\boldsymbol{\mu}}$, dass
  $${\mathbb{E} }\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bold... ...\mu}})^\top{\mathbf{B}}({\mathbf{Y}}-{\boldsymbol{\mu}})\bigr)={\mathbf{o}} .$$

• Somit ergibt sich, dass
  

  $${\rm Cov }\bigl({\mathbf{A}}{\mathbf{Y}}, {\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = 2{\mathbb{E} }\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bol... ...mu}})({\mathbf{Y}}-{\boldsymbol{\mu}})^\top{\mathbf{B}}{\boldsymbol{\mu}}\bigr)$$

  $$= 2{\mathbf{A}}{\mathbb{E} }\bigl( ({\mathbf{Y}}-{\boldsymbol{\mu}})({\mathbf{Y}}-{\boldsymbol{\mu}})^\top\Bigr){\mathbf{B}}{\boldsymbol{\mu}}$$

  $$= 2 {\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}} .$$

  
  
  
   
    $\Box$