MCMC-Schätzer; Bias und Fundamentalmatrix

In diesem Abschnitt betrachten wir Güteeigenschaften von Monte-Carlo-Schätzern für Erwartungswerte.

• Beispiele für ähnliche Fragestellungen wurden bereits in Abschnitt 3.1.1 diskutiert,
  • und zwar im Zusammenhang mit der statistischen Schätzung der Zahl $\pi$
  • bzw. des Wertes von Integralen mittels Monte-Carlo-Simulation.
• Dabei hatten wir in Abschnitt 3.1.1 jedoch vorausgesetzt,
  • dass die verwendeten Pseudozufallszahlen als Realisierungen von unabhängigen und identisch verteilten Stichprobenvariablen aufgefasst werden können,
  • wogegen wir jetzt annehmen, dass die Stichprobenvariablen eine (geeignet gewählte) Markov-Kette bilden.
• Deshalb sprechen wir nun auch von Markov-Chain-Monte-Carlo-Schätzern bzw. kurz von MCMC-Schätzern.

Statistisches Modell

 

• Sei $V$ eine endliche (nichtleere) Index-Menge, und sei ${\mathbf{X}}=(X(v),\,v\in V)$ ein diskreter Zufallsvektor,
  • der mit Wahrscheinlichkeit $1$ seine Werte in der endlichen (Zustands-) Menge $E\subset\mathbb{R}^{\vert V\vert}$ annimmt,
  • wobei wir den Wertebereich $E$ mit der Menge $E=\{1,\ldots,\ell\}$ der ersten $\ell=\vert E\vert$ natürlichen Zahlen identifizieren
  • und über die Wahrscheinlichkeitsfunktion ${\boldsymbol{\pi}}=(\pi_i,\,i\in E)$ des Zufallsvektors ${\mathbf{X}}$ voraussetzen, dass $\pi_i>0$ für jedes $i\in E$.
• Für eine beliebige, jedoch fest vorgegebene Funktion $\varphi:E\to\mathbb{R}$
  • soll der Erwartungswert $\theta={\mathbb{E}\,}\varphi({\mathbf{X}})$ mittels MCMC-Simulation geschätzt werden, wobei

    $$\theta={\boldsymbol{\pi}}^\top{\boldsymbol{\varphi}}$$ (69)

    
    

  • und ${\boldsymbol{\varphi}}=(\varphi_1,\ldots,\varphi_\ell)^\top$ den Vektor der Funktionswerte von $\varphi:E\to\mathbb{R}$ bezeichnet.
• Als Schätzer für $\theta$ betrachten wir die Zufallsvariable

  $$\widehat\theta_n=\frac{1}{n}\;\sum\limits_{k=0}^{n-1} \varphi({\mathbf{X}}_k)\,,\qquad\forall\, n\ge 1 \,,$$ (70)

  
  
  • wobei ${\mathbf{X}}_0,{\mathbf{X}}_1,\ldots$ eine Markov-Kette ist mit dem Zustandsraum $E$, mit einer (beliebigen, jedoch fest vorgegebenen) Anfangsverteilung ${\boldsymbol{\alpha}}$ sowie
  • mit einer irreduziblen und aperiodischen Übergangsmatrix ${\mathbf{P}}=\bigl(p_{ij}\bigr)$, so dass ${\boldsymbol{\pi}}$ die ergodische (Grenz-) Verteilung bezüglich ${\mathbf{P}}$ ist.

Beachte

 

• Weil die Anfangsverteilung ${\boldsymbol{\alpha}}$ typischerweise nicht mit der zu simulierenden Verteilung ${\boldsymbol{\pi}}$ übereinstimmt,
  • ist der in (70) definierte MCMC-Schätzer $\widehat\theta_n$ bei fest vorgegebenem (endlichen) Stichprobenumfang $n$ nicht erwartungstreu,
  • d.h., im allgemeinen gilt ${\mathbb{E}\,}\widehat\theta_n\not=\theta$ für jedes $n\ge 1$.
• Bei der Bestimmung des Bias ${\mathbb{E}\,}\,\widehat\theta_n-\theta$ ist die folgende Darstellungsformel nützlich.

Theorem 3.17   $\;$ Für jedes $n\ge 1$ gilt

$${\mathbb{E}\,}\,\widehat\theta_n= \frac{1}{n}\; {\boldsymbol{\alpha}}^\top\sum\limits_{k=0}^{n-1}{\mathbf{P}}^k{\boldsymbol{\varphi}}\,.$$ (71)

Beweis

 

• In Theorem 2.3 hatten wir gezeigt, dass für jedes $k\ge 1$ die Verteilung ${\boldsymbol{\alpha}}_k$ von ${\mathbf{X}}_k$ gegeben ist durch ${\boldsymbol{\alpha}}_k^\top={\boldsymbol{\alpha}}^\top{\mathbf{P}}^k$.
• Somit ergibt sich aus der Definitionsgleichung (70) des MCMC-Schätzers $\widehat\theta_n$, dass
  $${\mathbb{E}\,}\,\widehat\theta_n = \frac{1}{n}\;\sum\limits_{k=0}... ...l{\alpha}}^\top \sum\limits_{k=0}^{n-1}{\mathbf{P}}^k{\boldsymbol{\varphi}}\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Aus Theorem 3.17 und aus der Ergodizität der Übergangsmatrix ${\mathbf{P}}$ ergibt sich unter Berücksichtigung von (69) sofort, dass
  $$\lim\limits_{n\to\infty} {\mathbb{E}\,}\widehat\theta_n=\theta\,,$$

• d.h., der in (70) definierte MCMC-Schätzer $\widehat\theta_n$ für $\theta$ ist asymptotisch erwartungstreu.

Außerdem kann die Asymptotik des Ausdruckes $n\bigl({\mathbb{E}\,}\,\widehat\theta_n-\theta\bigr)$ für $n\to\infty$ bestimmt werden. Hierfür leiten wir zunächst zwei elementare Hilfssätze her.

Lemma 3.2   $\;$ Sei ${\boldsymbol{\Pi}}$ die $\ell\times\ell$ Matrix, die aus den $\ell$ identischen (Zeilen-) Vektoren ${\boldsymbol{\pi}}^\top$ besteht. Dann gilt

$$({\mathbf{P}}-{\boldsymbol{\Pi}})^n={\mathbf{P}}^n-{\boldsymbol{\Pi}}$$ (72)

für jedes $n\ge 1$ und insbesondere

$$\lim\limits_{n\to\infty}({\mathbf{P}}-{\boldsymbol{\Pi}})^n={\,{\bf0}}\,.$$ (73)

Beweis

 

• Offenbar gilt (72) für $n=1$.
  • Wenn nun angenommen wird, dass (72) für ein $n-1\ge 1$ gilt, dann gilt auch
    

    $$({\mathbf{P}}-{\boldsymbol{\Pi}})^n = ({\mathbf{P}}-{\boldsymbol{\Pi}})^{n-1} ({\mathbf{P}}-{\boldsymbol{\Pi}})=({\mathbf{P}}^{n-1}-{\boldsymbol{\Pi}}) ({\mathbf{P}}-{\boldsymbol{\Pi}})$$

    $$= {\mathbf{P}}^n-{\boldsymbol{\Pi}}{\mathbf{P}}-{\mathbf{P}}^{n-1}{\boldsymbol{\Pi}}+{\boldsymbol{\Pi}}^2 = {\mathbf{P}}^n-{\boldsymbol{\Pi}}\,,$$

    
    
    wobei sich die letzte Gleichheit aus der Tatsache ergibt, dass
    $${\boldsymbol{\pi}}^\top{\mathbf{P}}={\boldsymbol{\pi}}^\top$$   und somit$$\qquad {\boldsymbol{\Pi}}{\mathbf{P}}={\mathbf{P}}{\boldsymbol{\Pi}}={\boldsymbol{\Pi}}={\boldsymbol{\Pi}}^2\,.$$

  • Damit ist die Gültigkeit von (72) für jedes $n\ge 1$ bewiesen.
• Weil vorausgesetzt wird, dass ${\mathbf{P}}$ irreduzibel und aperiodisch ist,
  • ergibt sich aus den Theoremen 2.4 und 2.9, dass ${\mathbf{P}}^n-{\boldsymbol{\Pi}}\to{\,{\bf0}}$, wenn $n\to\infty$.
  • Hieraus und aus (72) folgt, dass auch $({\mathbf{P}}-{\boldsymbol{\Pi}})^n\to{\,{\bf0}}$ gilt, wenn $n\to\infty$.
    
    $\Box$

Beachte

 

• Aus der in Lemma 3.2 gezeigten Null-Konvergenz $({\mathbf{P}}-{\boldsymbol{\Pi}})^n\to{\,{\bf0}}$ für $n\to\infty$, ergibt sich nun mit Hilfe von Lemma 2.4, dass die Matrix ${\mathbf{I}}-({\mathbf{P}}-{\boldsymbol{\Pi}})$ invertierbar ist.
• Um dies zu zeigen, genügt es, in Lemma 2.4 die Matrix ${\mathbf{A}}={\mathbf{P}}-{\boldsymbol{\Pi}}$ zu betrachten.
• Die inverse Matrix

  $${\mathbf{Z}}=({\mathbf{I}}-({\mathbf{P}}- {\boldsymbol{\Pi}}))^{-1}$$ (74)

  
  
  ist also wohldefiniert und wird die Fundamentalmatrix von ${\mathbf{P}}$ genannt.

Lemma 3.3   $\;$ Für die Fundamentalmatrix ${\mathbf{Z}}=({\mathbf{I}}-({\mathbf{P}}-{\boldsymbol{\Pi}}))^{-1}$ der irreduziblen und aperiodischen Übergangsmatrix ${\mathbf{P}}$ gelten die Darstellungsformeln

$${\mathbf{Z}}={\mathbf{I}}+\sum\limits_{k=1}^\infty ({\mathbf{P}}^k-{\boldsymbol{\Pi}})$$ (75)

und

$${\mathbf{Z}}={\mathbf{I}}+ \lim\limits_{n\to\infty}\sum_{k=1}^{n-1}\;\frac{n-k}{n}\;({\mathbf{P}}^k-{\boldsymbol{\Pi}})\,.$$ (76)

Beweis

 

• Die Gültigkeit von (75) ergibt sich aus den Lemma 2.4 und Lemma 3.2, denn für ${\mathbf{A}}={\mathbf{P}}-{\boldsymbol{\Pi}}$ gilt, dass
  

  $${\mathbf{Z}} = ({\mathbf{I}}-{\mathbf{A}})^{-1}$$

  $$= ({\mathbf{I}}-{\mathbf{A}})^{-1}\lim\limits_{n\to\infty}({\mathbf{I}}-{\mathbf{A}}^n)$$

  $$= \lim\limits_{n\to\infty}\Bigl(({\mathbf{I}}-{\mathbf{A}})^{-1}({\mathbf{I}}-{\mathbf{A}}^n)\Bigr)$$

  $$\stackrel{(2.\ref{geo.mat.ser})}{=} \lim\limits_{n\to\infty} \Bigl({\mathbf{I}}+{\mathbf{A}}+\ldots+{\mathbf{A}}^{n-1}\Bigr)$$

  $$= {\mathbf{I}}+\sum\limits_{k=1}^\infty {\mathbf{A}}^k \qquad\Biggl... ...\mathbf{I}}+\sum\limits_{k=1}^\infty ({\mathbf{P}}-{\boldsymbol{\Pi}})^k\Biggr)$$

  $$\stackrel{(\ref{rep.fun.mat})}{=} {\mathbf{I}}+\sum\limits_{k=1}^\infty ({\mathbf{P}}^k-{\boldsymbol{\Pi}})\,.$$

  
  

• Um die Gültigkeit von (76) zu zeigen, genügt es zu beachten, dass
  $$\sum\limits_{k=1}^n ({\mathbf{P}}^k-{\boldsymbol{\Pi}})-\sum\limi... ...}})=\;\frac{1}{n}\; \sum\limits_{k=1}^{n} k({\mathbf{P}}-{\boldsymbol{\Pi}})^k$$
  und dass der letzte Ausdruck gegen ${\,{\bf0}}$ strebt, wenn $n\to\infty$.
• Dabei ergibt sich diese Null-Konvergenz aus der Tatsache, dass jede $\ell\times\ell$ Matrix ${\mathbf{A}}$ der Identität
  $$({\mathbf{I}}-{\mathbf{A}})\sum\limits_{k=1}^n k{\mathbf{A}}^k=\sum\limits_{k=1}^n {\mathbf{A}}^k-n{\mathbf{A}}^{n+1}$$
  genügt und dass somit für ${\mathbf{A}}={\mathbf{P}}-{\boldsymbol{\Pi}}$
  

  $$\lim\limits_{n\to\infty}\;\frac{1}{n}\;\sum\limits_{k=1}^{n} k({\mathbf{P}}-{\boldsymbol{\Pi}})^k = \lim\limits_{n\to\infty}\;\Biggl(\frac{1}{n}\;{\mathbf{Z}}\sum\li... ...\boldsymbol{\Pi}})^k-{\mathbf{Z}}({\mathbf{P}}-{\boldsymbol{\Pi}})^{n+1}\Biggr)$$

  $$\stackrel{(\ref{rep.fun.mat})}{=} {\mathbf{Z}}\Biggl(\lim\limits_{n\to... ...i}})^{n+1}}_{\stackrel{(\ref{lim.peh.phi})}{\longrightarrow}{\,{\bf0}}} \Biggr)$$

  $$= {\,{\bf0}}\,.$$

  
  
  
   
    $\Box$
  
  
  

Mit Hilfe von Theorem 3.17 und Lemma 3.3 können wir nun das asymptotische Verhalten des Bias ${\mathbb{E}\,}\,\widehat\theta_n-\theta$ genauer bestimmen.

Theorem 3.18    

• Sei $a=\bigl({\boldsymbol{\alpha}}^\top{\mathbf{Z}}-{\boldsymbol{\pi}}^\top\bigr){\boldsymbol{\varphi}}$, wobei ${\mathbf{Z}}$ die in $(\ref{def.fun.mat})$ eingeführte Fundamentalmatrix von ${\mathbf{P}}$ ist.
• Für jedes $n\ge 1$ gilt dann

  $$n \bigl({\mathbb{E}\,}\,\widehat\theta_n-\theta\bigr) = a+e_n\,,$$ (77)

  
  
  wobei $e_n$ ein Restglied ist mit $e_n\to 0$ für $n\to\infty$.

Beweis

 

• Aus der Darstellungsformel (75) in Lemma 3.3 ergibt sich, dass
  

  $${\boldsymbol{\alpha}}^\top{\mathbf{Z}}{\boldsymbol{\varphi}} = {\boldsymbol{\alpha}}^\top{\boldsymbol{\varphi}}+ {\boldsymbol{\a... ...infty}\sum_{k=1}^{n-1}({\mathbf{P}}^k-{\boldsymbol{\Pi}}){\boldsymbol{\varphi}}$$

  $$= {\boldsymbol{\alpha}}^\top{\boldsymbol{\varphi}}+\lim\limits_{n\t... ...\top{\boldsymbol{\Pi}}}_{={\boldsymbol{\pi}}^\top} {\boldsymbol{\varphi}}\Bigr)$$

  $$= \lim\limits_{n\to\infty} \Bigl({\boldsymbol{\alpha}}^\top\Bigl(\s... ...oldsymbol{\varphi}}-(n-1){\boldsymbol{\pi}}^\top{\boldsymbol{\varphi}}\Bigr)\,.$$

  
  

• Hieraus und aus Theorem 3.17 ergibt sich für eine gewisse Folge $\{e_n\}$ mit $e_n\to 0$, dass
  

  $$a = \bigl({\boldsymbol{\alpha}}^\top{\mathbf{Z}}-{\boldsymbol{\pi}}^\top\bigr){\boldsymbol{\varphi}}$$

  $$= {\boldsymbol{\alpha}}^\top\Bigl(\sum_{k=0}^{n-1} {\mathbf{P}}^k\Bigr){\boldsymbol{\varphi}}-n{\boldsymbol{\pi}}^\top{\boldsymbol{\varphi}}-e_n$$

  $$\stackrel{(\ref{for.bia.mcm})}{=} n\,{\mathbb{E}\,}\widehat\theta_n-n{\boldsymbol{\pi}}^\top{\boldsymbol{\varphi}}-e_n$$

  $$\stackrel{(\ref{dar.erw.the})}{=} n \bigl({\mathbb{E}\,}\,\widehat\theta_n-\theta\bigr)-e_n\,.$$

  
  
  
   
    $\Box$