Lineare und quadratische Formen normalverteilter Zufallsvektoren

Definition

 

• Seien ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ und ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top$ beliebige $n$-dimensionale Zufallsvektoren, und sei ${\mathbf{A}}$ eine symmetrische $n\times n$ Matrix mit reellwertigen Eintragungen.
• Dann heißt die (reellwertige) Zufallsvariable ${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}:\Omega\to\mathbb{R}$ quadratische Form von ${\mathbf{Y}}$ bezüglich ${\mathbf{A}}$.
• Die Zufallsvariable ${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}:\Omega\to\mathbb{R}$ heißt bilineare Form von ${\mathbf{Y}}$ und ${\mathbf{Z}}$ bezüglich ${\mathbf{A}}$.

Zunächst bestimmen wir den Erwartungswert von quadratischen bzw. bilinearen Formen.

Theorem 3.11   $\;$ Seien ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ und ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top$ beliebige $n$-dimensionale Zufallsvektoren, und sei ${\mathbf{A}}$ eine symmetrische $n\times n$ Matrix mit reellwertigen Eintragungen. Die Erwartungswertvektoren ${\boldsymbol{\mu}}_{\mathbf{Y}}={\mathbb{E}\,}{\mathbf{Y}}$ und ${\boldsymbol{\mu}}_{\mathbf{Z}}={\mathbb{E}\,}{\mathbf{Z}}$ sowie die Kovarianzmatrizen ${\mathbf{K}}_{{\mathbf{Y}}{\mathbf{Y}}}=\bigl({\rm Cov\,}(Y_i,Y_j)\bigr)$ und ${\mathbf{K}}_{{\mathbf{Z}}{\mathbf{Y}}}=\bigl({\rm Cov\,}(Z_i,Y_j)\bigr)$ seien wohldefiniert. Dann gilt

$${\mathbb{E}\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}\big... ...{\boldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Y}}$$ (62)

und

$${\mathbb{E}\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\big... ...oldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Z}}\,.$$ (63)

Beweis

 

• Wir beweisen nur (63), denn (62) ergibt sich hieraus als Spezialfall für ${\mathbf{Z}}={\mathbf{Y}}$.
• Offenbar gilt
  $${\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}={\,{\rm sp}}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)\,.$$
  Außerdem gilt ${\,{\rm sp}}({\mathbf{C}}{\mathbf{D}})={\,{\rm sp}}({\mathbf{D}}{\mathbf{C}})$ für beliebige $n\times n^\prime$ Matrizen ${\mathbf{C}}$ und beliebige $n^\prime\times n$ Matrizen ${\mathbf{D}}$.
• Hieraus ergibt sich, daß
  

  $${\mathbb{E}\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr) = {\mathbb{E}\,} {\,{\rm sp}}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$$

  $$= {\mathbb{E}\,} {\,{\rm sp}}\bigl({\mathbf{A}}{\mathbf{Z}}{\mathbf{Y}}^\top\bigr)$$

  $$= {\,{\rm sp}}\bigl({\mathbf{A}}{\mathbb{E}\,}({\mathbf{Z}}{\mathbf{Y}}^\top)\bigr)$$

  $$= {\,{\rm sp}}\bigl({\mathbf{A}}({\mathbf{K}}_{{\mathbf{Z}}{\mathbf{Y}}} +{\boldsymbol{\mu}}_{\mathbf{Z}}{\boldsymbol{\mu}}_{\mathbf{Y}}^\top)\bigr)$$

  $$= {\,{\rm sp}}({\mathbf{A}}{\mathbf{K}}_{{\mathbf{Z}}{\mathbf{Y}}})... ...oldsymbol{\mu}}_{\mathbf{Y}}^\top{\mathbf{A}}{\boldsymbol{\mu}}_{\mathbf{Z}}\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Auf ähnliche Weise läßt sich eine Formel für die Kovarianz von quadratischen Formen normalverteilter Zufallsvektoren herleiten.
• Dabei sind die folgenden Formeln für die dritten bzw. vierten gemischten Momente der Komponenten normalverteilter Zufallsvektoren nützlich.

Lemma 3.12    

• Sei ${\mathbf{Z}}=(Z_1,\ldots,Z_n)\sim\,{\rm N}({\mathbf{o}},{\mathbf{K}})$ ein (zentrierter) normalverteilter Zufallsvektor mit der Kovarianzmatrix ${\mathbf{K}}=(k_{ij})$.
• Dann gilt für beliebige $i,j,\ell,m\in\{1,\ldots,n\}$

  $${\mathbb{E}\,}(Z_iZ_jZ_\ell)=0 \qquad {\mathbb{E}\,}(Z_iZ_jZ_\ell Z_m)=k_{ij}k_{\ell m}+k_{i\ell}k_{jm}+k_{j\ell}k_{im}\,.$$ (64)

  
  

Der Beweis von Lemma 3.12 wird hier weggelassen und in den Übungen diskutiert, vgl. Übungsaufgabe 7.2.

Theorem 3.12    

• Sei ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ ein $n$-dimensionaler Zufallsvektor mit ${\mathbf{Y}}\sim\,{\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, und seien ${\mathbf{A}}=(a_{ij})$, ${\mathbf{B}}=(b_{ij})$ beliebige symmetrische $n\times n$ Matrizen.
• Dann gilt

  $${\rm Cov\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}},\,{\ma... ...\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}}\,.$$ (65)

  
  

Beweis

 

• Aus der Definition der Kovarianz und aus Theorem 3.11 ergibt sich, daß
  

  $${\rm Cov\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E}\,}\bigl(({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}-{\... ...}{\mathbf{Y}} -{\mathbb{E}\,}({\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}))\bigr)$$

  $$= {\mathbb{E}\,}\bigl(({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}}- {... ...}{\mathbf{K}}) -{\boldsymbol{\mu}}^\top{\mathbf{B}}{\boldsymbol{\mu}})\bigr)\,.$$

  
  

• Mit der Substitution ${\mathbf{Z}}={\mathbf{Y}}-{\boldsymbol{\mu}}$ bzw. ${\mathbf{Y}}={\mathbf{Z}}+{\boldsymbol{\mu}}$ ergibt sich hieraus, daß
  

  $${\rm Cov\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E}\,}\bigl(({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}+2{... ...mu}}^\top{\mathbf{B}}{\mathbf{Z}}-{\,{\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr)$$

  $$= {\mathbb{E}\,}\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\ma... ...{\mathbb{E}\,}\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$$

  $$-{\mathbb{E}\,}\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bi... ...bf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr){\,{\rm sp}}({\mathbf{A}}{\mathbf{K}})$$

  $$+4{\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\bo... ...}}+{\,{\rm sp}}({\mathbf{A}}{\mathbf{K}}){\,{\rm sp}}({\mathbf{B}}{\mathbf{K}})$$

  $$= {\mathbb{E}\,}\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\ma... ...{\mathbb{E}\,}\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)$$

  $$+4{\boldsymbol{\mu}}^\top{\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\bo... ...{\,{\rm sp}}({\mathbf{A}}{\mathbf{K}}){\,{\rm sp}}({\mathbf{B}}{\mathbf{K}})\,,$$

  
  
  wobei sich die letzte Gleichheit aus Theorem 3.11 ergibt, weil $Z\sim$ N $({\mathbf{o}},{\mathbf{K}})$ und somit ${\mathbb{E}\,}\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\bigr)={\,{\rm sp}}({\mathbf{A}}{\mathbf{K}})$ gilt.
• Weil die Matrizen ${\mathbf{A}}$, ${\mathbf{B}}$ und ${\mathbf{K}}$ symmetrisch sind, ergibt sich aus Lemma 3.12, daß
  

  $${\mathbb{E}\,}\bigl({\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr) = \sum\limits_{i=1}^n\sum\limits_{j=1}^n\sum\limits_{\ell=1}^n\sum\limits_{ m=1}^n a_{ij}b_{\ell m}{\mathbb{E}\,}(Z_iZ_jZ_\ell Z_m)$$

  $$= \sum\limits_{i=1}^n\sum\limits_{j=1}^n\sum\limits_{\ell=1}^n\sum\... ...k_{m\ell}+a_{ji}k_{i\ell}b_{\ell m}k_{mj}+a_{ij}k_{j\ell}b_{\ell m}k_{mi}\bigr)$$

  $$= {\,{\rm sp}}({\mathbf{A}}{\mathbf{K}}){\,{\rm sp}}({\mathbf{B}}{\mathbf{K}})+2{\,{\rm sp}}({\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\mathbf{K}})\,.$$

  
  

• Außerdem ergibt sich aus Lemma 3.12, daß

  $${\mathbb{E}\,}\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{A}}{\ma... ...=1}^n\sum\limits_{j=1}^n a_{ij}{\mathbb{E}\,}(Z_iZ_jZ_\ell)\Biggr)={\mathbf{o}}$$ (66)

  
  
  und entsprechend ${\mathbb{E}\,}\bigl({\mathbf{Z}}{\mathbf{Z}}^\top{\mathbf{B}}{\mathbf{Z}}\bigr) ={\mathbf{o}}$.
• Zusammen mit dem oben hergeleiteten Ausdruck für ${\rm Cov\,}\bigl({\mathbf{Y}}^\top{\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr)$ ergibt sich nun hieraus die Behauptung.
  
  $\Box$

Wir leiten nun noch die folgende Formel für den Kovarianzvektor von linearen bzw. quadratischen Formen normalverteilter Zufallsvektoren her.

Theorem 3.13    

• Sei ${\mathbf{Y}}=(Y_1,\ldots,Y_n)^\top$ ein $n$-dimensionaler Zufallsvektor mit ${\mathbf{Y}}\sim\,{\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, und seien ${\mathbf{A}}=(a_{ij})$, ${\mathbf{B}}=(b_{ij})$ beliebige symmetrische $n\times n$ Matrizen.
• Dann gilt

  $${\rm Cov\,}\bigl({\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\ma... ...{\mathbf{Y}}\bigr) =2 {\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}}\,.$$ (67)

  
  

Beweis

 

• Weil ${\mathbb{E}\,}({\mathbf{A}}{\mathbf{Y}})={\mathbf{A}}{\boldsymbol{\mu}}$ und weil in Theorem 3.11 gezeigt wurde, daß
  $${\mathbb{E}\,}\bigl({\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\big... ...athbf{B}}{\mathbf{K}}) +{\boldsymbol{\mu}}^\top{\mathbf{B}}{\boldsymbol{\mu}}$$
  ergibt sich, daß
  

  $${\rm Cov\,}\bigl({\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = {\mathbb{E}\,}\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bold... ...op{\mathbf{B}}{\boldsymbol{\mu}} -{\,{\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr)$$

  $$= {\mathbb{E}\,}\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bold... ...{\mathbf{B}}{\boldsymbol{\mu}}-{\,{\rm sp}}({\mathbf{B}}{\mathbf{K}}))\bigr)\,.$$

  
  

• Außerdem gilt ${\mathbb{E}\,}({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\boldsymbol{\mu}})={\mathbf{o}}$, und aus (66) folgt mit ${\mathbf{Z}}={\mathbf{Y}}-{\boldsymbol{\mu}}$, daß
  $${\mathbb{E}\,}\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bol... ...mu}})^\top{\mathbf{B}}({\mathbf{Y}}-{\boldsymbol{\mu}})\bigr)={\mathbf{o}}\,.$$

• Somit ergibt sich, daß
  

  $${\rm Cov\,}\bigl({\mathbf{A}}{\mathbf{Y}},\,{\mathbf{Y}}^\top{\mathbf{B}}{\mathbf{Y}}\bigr) = 2{\mathbb{E}\,}\bigl( ({\mathbf{A}}{\mathbf{Y}}-{\mathbf{A}}{\bol... ...mu}})({\mathbf{Y}}-{\boldsymbol{\mu}})^\top{\mathbf{B}}{\boldsymbol{\mu}}\bigr)$$

  $$= 2{\mathbf{A}}{\mathbb{E}\,}\bigl( ({\mathbf{Y}}-{\boldsymbol{\mu}})({\mathbf{Y}}-{\boldsymbol{\mu}})^\top\Bigr){\mathbf{B}}{\boldsymbol{\mu}}$$

  $$= 2 {\mathbf{A}}{\mathbf{K}}{\mathbf{B}}{\boldsymbol{\mu}}\,.$$

  
  
  
   
    $\Box$