Konsistenz

Sei $\{P_\theta,\,\theta\in\Theta\}$ eine beliebige Verteilungsfamilie mit $\Theta\subset\mathbb{R}^m$.

Definition

$\;$ Für jedes $n\ge 1$ sei $\widehat\theta:\mathbb{R}^n\to\mathbb{R}^m$ eine beliebige Stichprobenfunktion. Der Schätzer $\widehat\theta(X_1,\ldots,X_n)$ für $\theta$ heißt

• schwach konsistent, falls $\widehat\theta(X_1,\ldots,X_n) \stackrel{{\rm P}}{\longrightarrow}\theta$ für jedes $\theta\in\Theta$ und für $n\to\infty$, d.h.,
  $$\lim\limits_{n\to\infty}P_\theta (\... ...ta\vert>\varepsilon)= 0\,,\qquad\forall\, \varepsilon>0,\,\theta\in\Theta\,.$$

• stark konsistent, falls $\widehat\theta(X_1,\ldots,X_n) \stackrel{{\rm f.s.}}{\longrightarrow}\theta$ für jedes $\theta\in\Theta$ und für $n\to\infty$, d.h.,
  $$P_\theta \Bigl(\lim\limits_{n\to\in... ...a(X_1,\ldots,X_n)-\theta\vert=0\Bigr)=1\,, \qquad\forall\,\theta\in\Theta\,.$$

Beachte

$\;$ Wegen Korollar WR-5.1 ist jeder stark konsistente Schätzer gleichzeitig auch schwach konsistent.

Beispiel

$\;$ Normalverteilte Stichprobenvariablen

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R},\, \sigma^2> 0\}$, wobei sowohl $\mu$ als auch $\sigma^2$ unbekannt sei.
• Dann ergibt sich aus den Theoremen 1.2 bzw. 1.4, dass für $n\to\infty$

  $$\overline X_n\stackrel{{\rm f.s.}}{\longrightarrow}\mu \qquad S_n^2\stackrel{{\rm f.s.}}{\longrightarrow}\sigma^2\,,\qquad\forall\,\mu\in\mathbb{R},\,\sigma^2>0\,.$$ (57)

  
  

• Wegen der Erhaltung der (fast sicheren) Konvergenz bei Addition bzw. Multiplikation (vgl. jeweils die Teilaussage 1 der Theoreme WR-5.8 bzw. WR-5.10) ergibt sich aus (57), dass für $n\to\infty$

  $$\bigl\vert\bigl(\overline X_n,S_n^2\bigr)-(\mu,\sigma^2)\bigr\vert\stackrel{{\rm f.s.}}{\longrightarrow}0\,,$$ (58)

  
  
  d.h., der (erwartungstreue) Schätzer $\widehat\theta(X_1,\ldots,X_n))=\bigl(\overline X_n,S_n^2\bigr)$ für $\theta=(\mu,\sigma^2)$ ist stark (und damit auch schwach) konsistent.
• Hieraus ergibt sich außerdem, dass auch der in Beispiel 5 des Abschnittes 2.2.2 hergeleitete (asymptotisch erwartungstreue) Maximum-Likelihood-Schätzer $\bigl(\widehat\mu(X_1,\ldots,X_n),\widehat\sigma^2(X_1,\ldots,X_n)\bigr)$ für $\theta=(\mu,\sigma^2)$ stark konsistent ist.

Beachte

 

• Weil die Theoreme 1.2 und 1.4 nicht nur für normalverteilte Stichprobenvariablen gelten, ist der Schätzer $\widehat\theta(X_1,\ldots,X_n))=\bigl(\overline X_n,S_n^2\bigr)$ für jede parametrische Verteilungsfamile konsistent, für die der Erwartungswert $\mu$ bzw. die Varianz $\sigma^2$ der Stichprobenvariablen zu den Komponenten des Parametervektors $\theta$ gehören.
• Falls $m=1$, dann kann man die folgende allgemeine Bedingung für die schwache Konsistenz von (asymptotisch erwartungstreuen) Schätzern formulieren.

Theorem 2.9   Sei $\Theta\subset\mathbb{R}$, und für jedes $n\ge 1$ sei $\widehat\theta:\mathbb{R}^n\to\mathbb{R}$ eine beliebige Stichprobenfunktion, so dass

$${\mathbb{E}\,}_\theta\widehat\theta^2(X_1,\ldots,X_n)<\infty\,,\qquad\forall\,\theta\in\Theta\,.$$

Falls $\widehat\theta(X_1,\ldots,X_n)$ asymptotisch erwartungstreu ist, d.h.,

$$\lim\limits_{n\to\infty}{\mathbb{E}\... ...heta\widehat\theta(X_1,\ldots,X_n)=\theta\,, \qquad\forall\,\theta\in\Theta\,,$$ (59)

und falls die Schätzvarianz mit wachsendem Stichprobenumfang gegen 0 konvergiert, d.h.,

$$\lim\limits_{n\to\infty}{\rm Var\,}_\theta\widehat\theta(X_1,\ldots,X_n)=0\,, \qquad\forall\,\theta\in\Theta\,,$$ (60)

dann ist der Schätzer $\widehat\theta(X_1,\ldots,X_n)$ schwach konsistent.

Beweis

$\;$ Für beliebige $\theta\in\Theta$, $\varepsilon>0$ und $n\ge 1$ ergibt sich aus der Markov-Ungleichung (vgl. Formel WR-(4.73)), aus den Monotonie- und Linearitätseigenschaften des Erwartungswertes (vgl. Theorem WR-4.4) bzw. aus der Ungleichung von Cauchy-Schwarz (vgl. Theorem WR-4.11), dass

$$P_\theta (\vert\,\widehat\theta(X_1,\ldots,X_n)-\theta\vert>\varepsilon) \stackrel{\rm Formel~WR-(4.73)}{\le} \frac{{\mathbb{E}\,}_\theta\bigl(\vert \widehat\theta(X_1,\ldots,X_n)-\theta\vert\bigr)}{\varepsilon}$$

$$\stackrel{\rm Theorem~WR-4.4}{\le} \frac{{\mathbb{E}\,}_\theta\bigl(\bigl\vert \widehat\theta(X_1,\l... ...athbb{E}\,}_\theta \widehat\theta(X_1,\ldots,X_n)\bigr\vert\bigr)}{\varepsilon}$$

$$+\;\frac{\vert{\mathbb{E}\,}_\theta \widehat\theta(X_1,\ldots,X_n)-\theta\vert}{\varepsilon}$$

$$\stackrel{\rm Theorem~WR-4.11}{\le} \frac{\bigl({\rm Var\,}_\theta\widehat\theta (X_1,\ldots,X_n)\big... ...mathbb{E}\,}_\theta \widehat\theta(X_1,\ldots,X_n)-\theta\vert}{\varepsilon}\,,$$

wobei der letzte Ausdruck für $n\to\infty$ gegen 0 konvergiert, falls (59) und (60) erfüllt sind.

$\Box$

Beachte

 

• Wir hatten bereits in Abschnitt 2.2.1 erwähnt, dass mit der Momenten-Methode konstruierte Schätzer stark konsistent sind, falls sie eindeutig bestimmt sind, d.h., falls das Gleichungssystem (3) eine eindeutig bestimmte Lösung in $\Theta$ besitzt, und falls diese Lösung stetig von den empirischen Momenten $\widehat m_k(x_1,\ldots,x_n)$ abhängt.
• Wir zeigen nun, dass Maximum-Likelihood-Schätzer unter gewissen Regularitätsbedingungen schwach konsistent sind. Hierfür führen wir zunächst den folgenden Begriff ein.

Definition

 

• Ähnlich wie in Abschnitt 2.3.2 setzen wir voraus, dass die Familie $\{P_\theta,\theta\in\Theta\}$ entweder nur aus diskreten Verteilungen oder nur aus absolutstetigen Verteilungen besteht, wobei $\Theta\subset\mathbb{R}$ ein offenes Intervall ist.
• Die Likelihood-Funktion $L(x;\theta)$ ist somit gegeben durch
  $$L(x;\theta)=\left\{\begin{array}{ll} p(x;\theta) & \mbox{im diskr... ...Fall,}\\ f(x;\theta) & \mbox{im absolutstetigen Fall,} \end{array}\right.$$
  wobei $p(x;\theta)$ bzw. $f(x;\theta)$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $P_\theta$ ist.
• So wie bisher in Abschnitt 2 stets angenommen, gelte

  $$P_\theta\not=P_{\theta^\prime} \qquad \theta\not=\theta^\prime\,.$$ (61)

  
  

• Für beliebige $\theta,\theta^\prime\in\Theta$ heißt dann die Größe

  $$H(P_\theta;\,P_{\theta^\prime})=\left\{\begin{array}{ll} \displa... ...(x;\theta^\prime)=0)=0$,}\\ [3\jot] \infty &\mbox{sonst,} \end{array}\right.$$ (62)

  
  
  die relative Entropie bzw. Kullback-Leibler-Information von $P_{\theta}$ bezüglich $P_{\theta^\prime}$.

Beachte

 

• Im diskreten Fall ist das Integral in (62) durch eine Summe zu ersetzen.
• In diesem Abschnitt wird zugelassen, dass die Menge $B=\{x\in\mathbb{R}:\, L(x;\theta)>0\}$ von $\theta$ abhängt.

Lemma 2.8   Die in $(\ref{def.rel.ent})$ betrachtete Größe $H(P_\theta;\,P_{\theta^\prime})$ ist wohldefiniert, und es gilt stets $H(P_\theta;\,P_{\theta^\prime})\ge 0$ sowie

$$H(P_\theta;\,P_{\theta^\prime})=0 \qquad P_\theta=P_{\theta^\prime}\,.$$ (63)

Beweis

 

• Der Kürze wegen diskutieren wir hier nur den absolutstetigen Fall. Im diskreten Fall kann man völlig analog vorgehen, wobei lediglich Summen anstelle von Integralen betrachtet werden müssen.
• Zum Nachweis der Wohldefiniertheit von $H(P_\theta;\,P_{\theta^\prime})$ muss lediglich gezeigt werden, dass das Integral in (62) wohldefiniert ist, falls $P_\theta(x:\,L(x;\theta^\prime)=0)=0$.
• Wir betrachten nun diesen Fall und setzen für jedes $x\in\mathbb{R}$
  $$f(x)=\left\{\begin{array}{ll}\displaystyle \frac{L(x;\theta)}{L(... ...mbox{falls $L(x;\theta^\prime)>0$,}\\ 1&\mbox{sonst.} \end{array}\right.$$

• Dann können wir auch $L(x;\theta^\prime)f(x)$ als Likelihood-Funktion von $P_\theta$ auffassen und o.B.d.A. annehmen, dass
  $$L(x;\theta)=L(x;\theta^\prime)f(x)\,.$$

• Beachte: Die Funktion $g:(0,\infty)\to[0,\infty)$ mit $g(x)=1-x+x\log x$ ist nichtnegativ, strikt konvex und nimmt ihr Minimum $g(1)=0$ an der Stelle $1$ an.
• Weil $g$ nichtnegativ ist, ist der Erwartungswert
  $${\mathbb{E}\,}_{\theta^\prime}(g\circ f) =\int\limits_\mathbb{R}g(f(x)) L(x;\theta^\prime)\, dx$$
  wohldefiniert und nichtnegativ, wobei der Fall ${\mathbb{E}\,}_{\theta^\prime}(g\circ f) =\infty$ nicht ausgeschlossen ist.
• Außerdem gilt ${\mathbb{E}\,}_{\theta^\prime}(1-f)=1-{\mathbb{E}\,}_{\theta^\prime} f= 1-{\mathbb{E}\,}_\theta 1 =0$.
• Hieraus folgt durch Differenzbildung, dass auch der Erwartungswert
  $${\mathbb{E}\,}_{\theta^\prime}(f\log f) =\int\limits_\mathbb{R} L(x;\theta^\prime)f(x)\log f(x)\, dx$$
  wohldefiniert ist, wobei $0\le{\mathbb{E}\,}_{\theta^\prime}(g\circ f)\le\infty$.
• Wegen $L(x;\theta)=L(x;\theta^\prime)f(x)$ ist damit auch gezeigt, dass das Integral $H(P_\theta;\,P_{\theta^\prime})$ wohldefiniert ist und dass $H(P_\theta;\,P_{\theta^\prime})\ge 0$.
• Es ist klar, dass $H(P_\theta;\,P_{\theta^\prime})=0$, falls $P_\theta=P_{\theta^\prime}$.
• Falls nun umgekehrt $H(P_\theta;\,P_{\theta^\prime})=0$, dann ergibt sich aus den Überlegungen im ersten Teil des Beweises, dass auch ${\mathbb{E}\,}_{\theta^\prime}(g\circ f) =0$.
• Weil $g$ nichtnegativ ist, ergibt sich hieraus, dass $P_{\theta^\prime}\bigl((g\circ f)=0\bigr)=1$.
• Weil das Minimum $g(1)=0$ nur an der Stelle $1$ angenommen wird, folgt hieraus, dass $P_{\theta^\prime}(f=1)=1$, d.h., dass $P_\theta=P_{\theta^\prime}$.
  
  $\Box$

Die in $(\ref{def.rel.ent})$ definierte relative Entropie $H(P_\theta;\,P_{\theta^\prime})$ ist ein wichtiges Hilfsmittel, um zu zeigen, dass Maximum-Likelihood-Schätzer schwach konsistent sind, falls die Likelihood-Funktion unimodal in $\theta$ ist.

Theorem 2.10    

• Für beliebige $n\ge 1$ und $x_1,\ldots,x_n\in \mathbb{R}$ besitze die Maximum-Likelihood-Ungleichung $(\ref{max.lik})$ mindestens eine Lösung $\widehat\theta(x_1,\ldots,x_n)\in\Theta$.
• Die Likelihood-Funktion $L(x_1,\ldots,x_n;\theta)$ sei unimodal in $\theta$, d.h., für jede Lösung $\widehat\theta(x_1,\ldots,x_n)$ von $(\ref{max.lik})$ sei die Funktion $\theta\to L(x_1,\ldots,x_n;\theta)$ wachsend für alle $\theta<\widehat\theta(x_1,\ldots,x_n)$ und fallend für alle $\theta>\widehat\theta(x_1,\ldots,x_n)$.
• Dann ist die Folge $\{\widehat\theta(X_1,\ldots,X_n),\,n\ge 1\}$ von Maximum-Likelihood-Schätzern für $\theta$ schwach konsistent.

Beweis

 

• Sei $\theta\in\Theta$ beliebig, jedoch fest vorgegeben, und sei $\varepsilon>0$ hinreichend klein, so dass $\theta\pm\varepsilon\in\Theta$.
• Wegen (61) und (63) gibt es dann ein $\delta>0$, so dass $\delta<H(P_\theta;\,P_{\theta\pm\varepsilon})$.
• Außerdem gilt
  

  $${ \bigcap\limits_{c=\pm1}\Bigl\{\frac{1}{n}\log \frac{L(x_1,\ldot... ...,\ldots,x_n;\theta)}{L(x_1,\ldots,x_n;\theta+c\varepsilon)}>e^{n\delta}\Bigr\}}$$

  $$\subset \bigl\{L(x_1,\ldots,x_n;\theta-\varepsilon)< L(x_1,\ldots,x_n;\theta)>L(x_1,\ldots,x_n;\theta+\varepsilon)\bigr\}$$

  $$\subset \{\theta-\varepsilon<\widehat\theta(x_1,\ldots,x_n)<\theta+\varepsilon\}\,.$$

  
  

• Es genügt somit zu zeigen, dass

  $$\lim\limits_{n\to\infty} P_\theta\Bigl(\frac{1}{n}\log \frac{L(X_1,\ldots,X_n;\theta)}{L(X_1,\ldots,X_n;\theta+\varepsilon)}>\delta\Bigr)=1$$ (64)

  
  
  und

  $$\lim\limits_{n\to\infty} P_\theta\Bigl(\frac{1}{n}\log \frac{L(X_1,\ldots,X_n;\theta)}{L(X_1,\ldots,X_n;\theta-\varepsilon)}>\delta\Bigr)=1\,.$$ (65)

  
  

• Wir zeigen hier nur die Gültigkeit von (64), denn der Beweis von (65) verläuft analog.
• Wir betrachten zunächst den Fall, dass $H(P_\theta;\,P_{\theta+\varepsilon})<\infty$.
• Für die Funktion $f:\mathbb{R}\to\mathbb{R}$ mit

  $$f(x)=\left\{\begin{array}{ll}\displaystyle \frac{L(x;\theta)}{L(... ...ox{falls $L(x;\theta+\varepsilon)>0$,}\\ 1&\mbox{sonst} \end{array}\right.$$ (66)

  
  
  gilt dann $\log f\in L^1(\mathbb{R},\mathcal{B}(\mathbb{R}),P_\theta)$.
• Aus dem starken Gesetz der großen Zahlen (vgl. Theorem WR-5.15) ergibt sich somit, dass
  $$\frac{1}{n}\log\frac{L(X_1,\ldots,X_n;\theta)}{L(X_1,\ldots,X_n;\... ...tarrow}{\mathbb{E}\,}_\theta(\log f)=H(P_\theta;\,P_{\theta+\varepsilon})\,.$$

• Damit ist (64) in diesem Fall bewiesen.
• Es gelte nun $H(P_\theta;\,P_{\theta+\varepsilon})=\infty$ und $P_\theta(x:\,L(x;\theta+\varepsilon)=0)=0$.
• Dann ist
  • die in (66) eingeführte Funktion für fast jedes $x\in\mathbb{R}$ gegeben durch $f(x)=L(x;\theta)/L(x;\theta+\varepsilon)$,
  • es gilt $\log\min \{f,c\}\in L^1(\mathbb{R},\mathcal{B}(\mathbb{R}),P_\theta)$ für jedes $c>1$,
  • und aus dem Satz über die monotone Konvergenz ergibt sich, dass für $c\to\infty$
    $${\mathbb{E}\,}_\theta\bigl(\log\min \{f,c\}\bigr)\to H(P_\theta;\,P_{\theta+\varepsilon})=\infty\,.$$

• Es gibt somit ein $c>1$ mit ${\mathbb{E}\,}_\theta\bigl(\log\min \{f,c\}\bigr)>\delta$, und so wie im ersten Fall ergibt sich aus dem starken Gesetz der großen Zahlen (vgl. Theorem WR-5.15), dass für $n\to\infty$
  $$P_\theta\Bigl(\frac{1}{n}\log \frac{L(X_1,\ldots,X_n;\theta)}{L(... ...igl(\frac{1}{n}\sum\limits_{i=1}^n\log\min \{f(X_i),c\}>\delta\Bigr)\to 1\,.$$

• Damit ist (64) auch in diesem Fall bewiesen.
• Falls schließlich $P_\theta(x:\,L(x;\theta+\varepsilon)=0)=a>0$, dann gilt wegen $P_\theta(x:\,L(x;\theta)>0)=1$, dass für $n\to\infty$
  $$P_\theta\Bigl(\frac{1}{n}\log \frac{L(X_1,\ldots,X_n;\theta)}{L(X_1,\ldots,X_n;\theta+\varepsilon)}=\infty\Bigr) =1-(1-a)^n\to 1\,.$$

• Hieraus ergibt sich erneut die Gültigkeit von (64).
  
  $\Box$

Beachte

 

• Die in Theorem 2.10 vorausgesetzte Unimodalität der Abbildung $\theta\to L(x_1,\ldots,x_n;\theta)$ ist in zahlreichen Fällen erfüllt.
• Hinreichend hierfür ist, dass die Abbildung $\theta\to\log L(x;\theta)$ für jedes $x\in\mathbb{R}$ konkav ist.

Beispiele

 

1.

$\;$Poisson-verteilte Stichprobenvariablen 

• Sei $\{P_\theta,\,\theta\in\Theta\}=\{$ Poi $(\lambda),\,\lambda>0\}$.
• Dann gilt für jedes $x\in\mathbb{R}$
  $$L(x;\lambda)=\left\{\begin{array}{ll} \frac{\lambda^x}{x!}\; e^{... ...a}\,,&\mbox{falls $x\in\mathbb{N}$,}\\ 0& \mbox{sonst} \end{array}\right.$$
  und somit
  $$\log L(x;\lambda)=\left\{\begin{array}{ll} x\log\lambda -\lambda ... ...mbox{falls $x\in\mathbb{N}$,}\\ -\infty& \mbox{sonst,} \end{array}\right.$$
  d.h., $\log L(x;\lambda)$ ist konkav in $\lambda$.
• Aus Theorem 2.10 ergibt sich nun, dass die Folge $\widehat\lambda=\overline X_n$ von Maximum-Likelihood-Schätzern für $\lambda$ schwach konsistent ist.
• Beachte: In Theorem 1.2 hatten wir allerdings bereits mit Hilfe des starken Gesetzes der großen Zahlen gezeigt, dass $\widehat\lambda=\overline X_n$ nicht nur schwach, sondern sogar stark konsistent ist.

2.

$\;$ Exponentialverteilte Stichprobenvariablen 

• Sei $\{P_\theta,\,\theta\in\Theta\}=\{$Exp $(\lambda),\,\lambda>0\}$.
• Dann gilt für jedes $x\in\mathbb{R}$
  $$L(x;\lambda)=\left\{\begin{array}{ll} \lambda\, e^{-\lambda x}\,,&\mbox{falls $x>0$,}\\ 0\,,& \mbox{sonst} \end{array}\right.$$
  und somit
  $$\log L(x;\lambda)=\left\{\begin{array}{ll} -x\lambda+\log\lambda\,, &\mbox{falls $x>0$,}\\ -\infty\,,& \mbox{sonst,} \end{array}\right.$$
  d.h., $\log L(x;\lambda)$ ist konkav in $\lambda$.
• Aus Theorem 2.10 ergibt sich nun, dass die Folge $\widehat\lambda=1/\overline X_n$ von Maximum-Likelihood-Schätzern für $\lambda$ schwach konsistent ist.
• Beachte: Aus dem starken Gesetz der großen Zahlen (vgl. Theorem 1.2) ergibt sich darüber hinaus, dass $\widehat\lambda=1/\overline X_n$ nicht nur schwach, sondern sogar stark konsistent ist.

3.

$\;$ Gleichverteilte Stichprobenvariablen 

• Sei $\{P_\theta,\,\theta\in\Theta\}=\{$ U $(\theta),\,\theta>0\}$.
• Dann gilt für jedes $x\in\mathbb{R}$
  $$L(x;\theta)=\left\{\begin{array}{ll} \theta^{-1}\,,&\mbox{falls $0<x\le\theta$,}\\ 0\,,& \mbox{sonst} \end{array}\right.$$
  und somit ist die Likelihood-Funktion
  $$L(x_1,\ldots,x_n;\theta)=\left\{\begin{array}{ll} \theta^{-n}\,, ... ...ls $0<x_1,\ldots,x_n\le\theta$,}\\ 0\,, & \mbox{sonst} \end{array}\right.$$
  unimodal in $\theta$.
• Wegen Theorem 2.10 ist somit durch $\widehat\theta(X_1,\ldots,X_n)=\max\{X_1,\ldots,X_n\}$ eine (schwach) konsistente Folge von Maximum-Likelihood-Schätzern gegeben.