Verteilungs- und Unabhängigkeitseigenschaften linearer und quadratischer Formen

• Zur Erinnerung: Bei der Definition der nichtzentralen $\chi ^2$-Verteilung in Abschnitt 1.3.2 wurde die Quadratsumme der Komponenten von N $({\boldsymbol{\mu}},{\mathbf{I}})$-verteilten Zufallsvektoren betrachtet.
• Man kann nun zeigen, dass die (entsprechend modifizierte) Quadratsumme auch dann eine nichtzentrale $\chi ^2$-Verteilung besitzt, wenn der betrachtete normalverteilte Zufallsvektor eine beliebige positiv definite Kovarianzmatrix hat.
• Und zwar sei ${\boldsymbol{\mu}}\in\mathbb{R}^n$, und sei ${\mathbf{K}}$ eine symmetrische und positiv definite $n\times n$ Matrix.
• Wenn ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top\sim$ N $({\boldsymbol{\mu}},{\mathbf{K}})$, dann ergibt sich aus Theorem 1.3, dass
  $${\mathbf{K}}^{-1/2}{\mathbf{Z}}\sim {\rm N}({\mathbf{K}}^{-1/2}{\boldsymbol{\mu}},{\mathbf{I}}) .$$

• Aus der Definition der nichtzentralen $\chi ^2$- Verteilung folgt somit, dass

  $${\mathbf{Z}}^\top{\mathbf{K}}^{-1}{\mathbf{Z}}= \bigl({\mathbf{K}... ...\mathbf{Z}}\bigr)^\top{\mathbf{K}}^{-1/2}{\mathbf{Z}} \sim\chi^2_{n,\lambda} ,$$ (33)

  
  
  wobei $\lambda = ({\mathbf{K}}^{-1/2}{\boldsymbol{\mu}})^\top{\mathbf{K}}^{-1/2}{\boldsymbol{\mu}}={\boldsymbol{\mu}}^\top{\mathbf{K}}^{-1}{\boldsymbol{\mu}}$.

Die Verteilungseigenschaft (33) für quadratische Formen von normalverteilten Zufallsvektoren lässt sich wie folgt verallgemeinern. Dabei ist Lemma 1.7 über die Faktorisierung symmetrischer und nichtnegativ definiter Matrizen nützlich.

Theorem 1.9    

• Sei ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top\sim {\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, wobei die Kovarianzmatrix ${\mathbf{K}}$ positiv definit sei. Außerdem sei ${\mathbf{A}}$ eine symmetrische $n\times n$ Matrix mit ${ {\rm rg}}({\mathbf{A}})=r\le n$.
• Wenn die Matrix ${\mathbf{A}}{\mathbf{K}}$ idempotent ist, d.h., wenn ${\mathbf{A}}{\mathbf{K}}=({\mathbf{A}}{\mathbf{K}})^2$, dann gilt ${\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\sim\chi^2_{r,\lambda}$, wobei $\lambda={\boldsymbol{\mu}}^\top{\mathbf{A}}{\boldsymbol{\mu}}$.

Beweis

 

• Die Matrix ${\mathbf{A}}{\mathbf{K}}$ sei idempotent. Dann gilt
  $${\mathbf{A}}{\mathbf{K}}={\mathbf{A}}{\mathbf{K}}{\mathbf{A}}{\mathbf{K}} .$$

• Weil ${\mathbf{K}}$ regulär ist, kann man beide Seiten dieser Gleichung von rechts mit ${\mathbf{K}}^{-1}$ multiplizieren. Dabei ergibt sich, dass

  $${\mathbf{A}}={\mathbf{A}}{\mathbf{K}}{\mathbf{A}}$$ (34)

  
  
  bzw. für jedes ${\mathbf{x}}\in\mathbb{R}^n$
  $${\mathbf{x}}^\top{\mathbf{A}}{\mathbf{x}}={\mathbf{x}}^\top{\math... ...=({\mathbf{A}}{\mathbf{x}})^\top{\mathbf{K}}({\mathbf{A}}{\mathbf{x}})\ge 0 ,$$
  d.h., ${\mathbf{A}}$ ist nichtnegativ definit.
• Gemäß Lemma 1.7 gibt es somit eine Zerlegung

  $${\mathbf{A}}={\mathbf{H}}{\mathbf{H}}^\top ,$$ (35)

  
  
  so dass die $n\times r$ Matrix ${\mathbf{H}}$ den vollen Spaltenrang $r$ hat.
• Wegen Lemma 1.2 bedeutet dies, dass die inverse Matrix $({\mathbf{H}}^\top{\mathbf{H}})^{-1}$ existiert.
• Aus Theorem 1.3 über die lineare Transformation von normalverteilten Zufallvektoren ergibt sich nun für den $r$-dimensionalen Vektor ${\mathbf{Z}}^\prime={\mathbf{H}}^\top{\mathbf{Z}}$, dass

  $${\mathbf{Z}}^\prime\sim {\rm N}({\mathbf{H}}^\top{\boldsymbol{\mu}},{\mathbf{I}}_r) ,$$ (36)

  
  
  weil
  

  $${\mathbf{H}}^\top{\mathbf{K}}{\mathbf{H}} = ({\mathbf{H}}^\top{\mathbf{H}})^{-1}({\mathbf{H}}^\top{\mathbf{H}... ...mathbf{H}})({\mathbf{H}}^\top{\mathbf{H}}) ({\mathbf{H}}^\top{\mathbf{H}})^{-1}$$

  $$= ({\mathbf{H}}^\top{\mathbf{H}})^{-1}{\mathbf{H}}^\top({\mathbf{A}}{\mathbf{K}}{\mathbf{A}}){\mathbf{H}} ({\mathbf{H}}^\top{\mathbf{H}})^{-1}$$

  $$= ({\mathbf{H}}^\top{\mathbf{H}})^{-1}{\mathbf{H}}^\top{\mathbf{A}}{\mathbf{H}} ({\mathbf{H}}^\top{\mathbf{H}})^{-1}={\mathbf{I}}_r ,$$

  
  
  wobei sich die letzten drei Gleichheiten aus (34) bzw. (35) ergeben.
• Weil andererseits
  $${\mathbf{Z}}^\top{\mathbf{A}}{\mathbf{Z}}\;=\; {\mathbf{Z}}^\top{... ...mathbf{H}}^\top{\mathbf{Z}}\;=\; ({\mathbf{Z}}^\prime)^\top{\mathbf{Z}}^\prime$$
  und weil
  $$\bigl({\mathbf{H}}^\top{\boldsymbol{\mu}}\bigr)^\top{\mathbf{H}}^... ...top{\boldsymbol{\mu}}={\boldsymbol{\mu}}^\top{\mathbf{A}}{\boldsymbol{\mu}} ,$$
  ergibt sich die Behauptung nun aus (36) und aus der Definition der nichtzentralen $\chi ^2$-Verteilung.
  
  $\Box$

Außerdem ist das folgende Kriterium für die Unabhängigkeit von linearen bzw. quadratischen Formen normalverteilter Zufallsvektoren nützlich. Es kann als (vektorielle) Verallgemeinerung von Lemma 5.3 im Skript zur Vorlesung ,,Statistik I'' aufgefasst werden.

Theorem 1.10    

• Sei ${\mathbf{Z}}=(Z_1,\ldots,Z_n)^\top\sim {\rm N}({\boldsymbol{\mu}},{\mathbf{K}})$, wobei ${\mathbf{K}}$ eine beliebige (symmetrische, nichtnegativ definite) Kovarianzmatrix sei.
• Außerdem seien ${\mathbf{A}}$, ${\mathbf{B}}$ beliebige $r_1\times n$ bzw. $r_2\times n$ Matrizen mit $r_1,r_2\le n$, und sei ${\mathbf{C}}$ eine symmetrische und nichtnegativ definite $n\times n$ Matrix.
• Wenn zusätzlich die Bedingung

  $${\mathbf{A}}{\mathbf{K}}{\mathbf{B}}^\top={\bf0} \qquad{\mathbf{A}}{\mathbf{K}}{\mathbf{C}}={\bf0}$$ (37)

  
  
  erfüllt ist, dann sind die Zufallsvariablen ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{B}}{\mathbf{Z}}$ bzw. ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{Z}}^\top{\mathbf{C}}{\mathbf{Z}}$ unabhängig.

Beweis

 

• Wir zeigen zunächst, dass aus (37) die Unabhängigkeit der linearen Formen ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{B}}{\mathbf{Z}}$ folgt.
• Wegen des Eindeutigkeitssatzes für charakteristische Funktionen von Zufallsvektoren (vgl. Lemma 1.9) genügt es zu zeigen, dass für beliebige ${\mathbf{t}}_1\in\mathbb{R}^{r_1}$, ${\mathbf{t}}_2\in\mathbb{R}^{r_2}$
  $${\mathbb{E} }\exp\bigl({\rm i} ({\mathbf{t}}_1^\top{\mathbf{A}}... ...{E} }\exp\bigl({\rm i} {\mathbf{t}}_2^\top{\mathbf{B}}{\mathbf{Z}}\bigr) .$$

• Aus (37) folgt, dass
  $${\mathbf{B}}{\mathbf{K}}{\mathbf{A}}^\top=\Bigl(({\mathbf{B}}{\ma... ...Bigr)^\top =\Bigl({\mathbf{A}}{\mathbf{K}}{\mathbf{B}}^\top\Bigr)^\top= {\bf0}$$
  und somit auch, dass für beliebige ${\mathbf{t}}_1\in\mathbb{R}^{r_1}$, ${\mathbf{t}}_2\in\mathbb{R}^{r_2}$

  $$({\mathbf{t}}_1^\top{\mathbf{A}}){\mathbf{K}}({\mathbf{t}}_2^\top... ...bf{t}}_2^\top{\mathbf{B}}{\mathbf{K}}{\mathbf{A}}^\top{\mathbf{t}}_1= {\bf0} .$$ (38)

  
  

• Aus der in Theorem 1.4 hergeleiteten Darstellungsformel (25) für die charakteristische Funktion von normalverteilten Zufallsvektoren und aus (38) ergibt sich dann, dass
  

  $${ {\mathbb{E} }\exp\bigl({\rm i} ({\mathbf{t}}_1^\top{\mathbf{A... ...thbf{t}}_1^\top{\mathbf{A}}+{\mathbf{t}}_2^\top{\mathbf{B}}){\mathbf{Z}}\bigr)}$$

  $$= \exp\Bigl({\rm i} ({\mathbf{t}}_1^\top{\mathbf{A}}+{\mathbf{t}}_... ...}} ({\mathbf{t}}_1^\top{\mathbf{A}}+{\mathbf{t}}_2^\top{\mathbf{B}})^\top\Bigr)$$

  $$= \exp\Bigl({\rm i} ({\mathbf{t}}_1^\top{\mathbf{A}}+{\mathbf{t}}_... ...}}_2^\top{\mathbf{B}}){\mathbf{K}}({\mathbf{t}}_2^\top{\mathbf{B}})^\top \Bigr)$$

  $$= \exp\Bigl({\rm i} ({\mathbf{t}}_1^\top{\mathbf{A}}){\boldsymbol{... ...}}_2^\top{\mathbf{B}}){\mathbf{K}}({\mathbf{t}}_2^\top{\mathbf{B}})^\top \Bigr)$$

  $$= {\mathbb{E} }\exp\bigl({\rm i} {\mathbf{t}}_1^\top{\mathbf{A}}{... ...b{E} }\exp\bigl({\rm i} {\mathbf{t}}_2^\top{\mathbf{B}}{\mathbf{Z}}\bigr) .$$

  
  

• Wir zeigen nun noch, dass die Unabhängigkeit von ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{Z}}^\top{\mathbf{C}}{\mathbf{Z}}$ aus der zweiten Bedingung in (37) folgt.
• Sei ${ {\rm rg}}({\mathbf{C}})=r\le n$. Gemäß Lemma 1.7 gibt es dann eine $n\times r$ Matrix ${\mathbf{H}}$ mit ${ {\rm rg}}({\mathbf{H}})=r$, so dass ${\mathbf{C}}={\mathbf{H}}{\mathbf{H}}^\top$.
• Aus (37) ergibt sich dann, dass ${\mathbf{A}}{\mathbf{K}}{\mathbf{H}}{\mathbf{H}}^\top={\bf0}$ bzw. ${\mathbf{A}}{\mathbf{K}}{\mathbf{H}}{\mathbf{H}}^\top{\mathbf{H}}={\bf0}$.
• Hieraus folgt schließlich, dass ${\mathbf{A}}{\mathbf{K}}{\mathbf{H}}={\bf0}$, weil die $r\times r$ Matrix ${\mathbf{H}}^\top{\mathbf{H}}$ wegen Lemma 1.2 den (vollen) Rang ${ {\rm rg}}({\mathbf{H}})=r$ hat und deshalb invertierbar ist.
• Aus dem ersten Teil des Beweises ergibt sich somit, dass die linearen Formen ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{H}}^\top{\mathbf{Z}}$ unabhängig sind.
• Wegen
  $${\mathbf{Z}}^\top{\mathbf{C}}{\mathbf{Z}}={\mathbf{Z}}^\top{\math... ...\mathbf{Z}} =({\mathbf{H}}^\top{\mathbf{Z}})^\top{\mathbf{H}}^\top{\mathbf{Z}}$$
  ergibt sich nun aus dem Transformationssatz für unabhängige Zufallsvektoren (vgl. Theorem I-1.8), dass auch ${\mathbf{A}}{\mathbf{Z}}$ und ${\mathbf{Z}}^\top{\mathbf{C}}{\mathbf{Z}}$ unabhängig sind.
  
  $\Box$