Konsistenz und relative Entropie

• Gemäß Theorem 4.2 führt der Ansatz (25) des Neyman-Pearson-Tests für jeden Stichprobenumfang $n$ zu einer Minimierung der Wahrscheinlichkeit des Fehlers zweiter Art.
• Wie wollen nun untersuchen, wie schnell diese Fehlerwahrscheinlichkeit gegen 0 konvergiert, wenn der Stichprobenumfang $n$ unendlich groß wird, d.h., wenn $n\to\infty$.
• Dabei zeigen wir in Theorem 4.3, daß die Wahrscheinlichkeit des Fehlers zweiter Art um so schneller gegen 0 konvergiert, je größer die relative Entropie $H(P_{\theta_0},\,P_{\theta_1})$ der Verteilungen $P_{\theta_0},\,P_{\theta_1}$ ist, wobei $H(P_{\theta_0},\,P_{\theta_1})$ bereits in Abschnitt 2.4.1 im Zusammenhang mit der Konsistenz von Maximum-Likelihood-Schätzern betrachtet worden ist.
• Bei NP-Tests von einfachen Hypothesen kann die relative Entropie $H(P_{\theta_0},\,P_{\theta_1})$ nun als eine Maßzahl für die statistische Unterscheidbarkeit der Verteilungen $P_{\theta_0},\,P_{\theta_1}$ aufgefaßt werden.

Beachte

 

• Wir betrachten erneut die Hypothesen
  $$H_0:\theta=\theta_0$$   bzw.$$\qquad H_1:\theta=\theta_1\,.$$
  für zwei beliebige, jedoch vorgegebene Parameterwerte $\theta_0,\theta_1\in\Theta$ mit $\theta_0\not=\theta_1$.
• Der Einfachheit wegen setzen wir voraus, daß die Verteilungen $P_{\theta_0},\,P_{\theta_1}$ absolutstetig sind und daß die Dichten von $P_{\theta_0},\,P_{\theta_1}$ überall positiv sind.
• Hieraus folgt insbesondere, daß

  $$H(P_{\theta_0};\,P_{\theta_1})= \displaystyle \int\limits_\mathbb{R} L(x;\theta_0)\log\frac{L(x;\theta_0)}{L(x;\theta_1)}\;dx\,.$$ (47)

  
  

Der folgende Grenzwertsatz wird in der Literatur das Lemma von Stein genannt (zu Ehren von Charles Stein, Professor Emeritus in Statistics, Stanford University, USA)

Theorem 4.3   Sei $\alpha\in(0,1)$. Für jeden Stichprobenumfang $n\in\mathbb{N}$ sei $\varphi_n:\mathbb{R}^n\to [0,1]$ ein Neyman-Pearson-Test mit ${\mathbb{E}\,}_{\theta_0}\varphi_n(X_1,\ldots,X_n)=\alpha$. Dann gilt

$$\lim\limits_{n\to\infty}\frac{1}{n}\;\log \bigl(1-{\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)\bigr)=-H(P_{\theta_0},\,P_{\theta_1})\,.$$ (48)

Beweis

 

• Wir benutzen ähnliche Überlegungen wie im Beweis von Theorem 2.10.
• Sei $h(t)=\log\bigl(f(t;\theta_0)/f(t;\theta_1)\bigr)$ und

  $$h_n(x_1,\ldots,x_n)=-\;\frac{1}{n}\;\log T(x_1,\ldots,x_n)=\frac{1}{n}\;\sum\limits_{i=1}^n h(x_i)\,,$$ (49)

  
  
  wobei $T(x_1,\ldots,x_n)=\prod_{i=1}^n \bigl(f(x_i;\theta_1)/f(x_i;\theta_0)\bigr)$ der in (28) definierte Likelihood-Quotient ist.
• Dann gilt ${\mathbb{E}\,}_{\theta_0}h(X_1)=H(P_{\theta_0},\,P_{\theta_1})$, und
• gemäß Theorem 4.2 gibt es Konstanten $a_n\in\mathbb{R}$ und $q_n\in[0,1]$, so daß $\alpha={\mathbb{E}\,}_{\theta_0}\varphi_n(X_1,\ldots,X_n)$ für die Neyman-Pearson-Tests $\varphi_n$ mit

  $$\varphi_n(x_1,\ldots,x_n)= \left\{\begin{array}{ll} 1\,, &\mbox{... ...=a_n$,}\\ 0\,, &\mbox{falls $h_n(x_1,\ldots,x_n)> a_n$.} \end{array}\right.$$ (50)

  
  

• Wir zeigen zunächst, daß

  $$\limsup\limits_{n\to\infty}\;\frac{1}{n}\;\log \bigl(1-{\mathbb{... ...theta_1}\varphi_n(X_1,\ldots,X_n)\bigr)\le -{\mathbb{E}\,}_{\theta_0}h(X_1)\,.$$ (51)

  
  

• Aus (50) ergibt sich, daß $h_n(x_1,\ldots,x_n)\ge a_n$ und damit auch $L_0(x)\ge e^{na_n}L_1(x)$, falls $1-\varphi_n(x)>0$.
• Hieraus ergibt sich die Gültigkeit der Ungleichungen
  $$1\ge{\mathbb{E}\,}_{\theta_0}\bigl(1-\varphi_n(X_1,\ldots,X_n)\bigr)\ge e^{na_n}{\mathbb{E}\,}_{\theta_1}\bigl(1-\varphi_n(X_1,\ldots,X_n)\bigr)$$
  bzw.
  $$-a_n\ge\frac{1}{n}\;\log \bigl(1-{\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)\bigr)\,.$$

• Um (51) zu beweisen, genügt es somit zu zeigen, daß es für jedes $a<{\mathbb{E}\,}_{\theta_0}h(X_1)$ eine natürliche Zahl $n_0=n_0(a)$ gibt, so daß $a_n>a$ für jedes $n\ge n_0$.
• Dies ergibt sich aber aus der Tatsache, daß
  $$P_{\theta_0}\bigl(h_n(X_1,\ldots,X_n)\le a_n\bigr)\ge{\mathbb{E}\,}_{\theta_0}\varphi_n(X_1,\ldots,X_n)=\alpha>0$$
  für jedes $n\in\mathbb{N}$ und
  $$\lim\limits_{n\to\infty}P_{\theta_0}\bigl(h_n(X_1,\ldots,X_n)\le a\bigr)=0$$
  für jedes $a<{\mathbb{E}\,}_{\theta_0}h(X_1)$, wobei sich die letzte Konvergenz aus (49) und aus dem starken Gesetz der großen Zahlen ergibt, vgl. den Beweis von Theorem 2.10.
• Um den Beweis zu beenden, zeigen wir nun noch, daß

  $$\liminf\limits_{n\to\infty}\;\frac{1}{n}\;\log \bigl(1-{\mathbb{... ...theta_1}\varphi_n(X_1,\ldots,X_n)\bigr)\ge -{\mathbb{E}\,}_{\theta_0}h(X_1)\,.$$ (52)

  
  

• Hierbei können wir o.B.d.A. annehmen, daß ${\mathbb{E}\,}_{\theta_0}h(X_1)<\infty$.
• Für jedes $a>{\mathbb{E}\,}_{\theta_0}h(X_1)$ gilt dann
  

  $${P_{\theta_0}\bigl(L_1(X_1,\ldots,X_n)\ge e^{-na}L_0(X_1,\ldots,X_n)\bigr)=P_{\theta_0}\bigl(h_n(X_1,\ldots,X_n)\le a\bigr)}$$

  $$\ge P_{\theta_0}\bigl(\bigl\vert h_n(X_1,\ldots,X_n)-{\mathbb{E}\,}_{... ...1)\bigr\vert \le a-{\mathbb{E}\,}_{\theta_0}h(X_1)\bigr) \ge \frac{1+\alpha}{2}$$

  
  
  für jedes hinreichend große $n$, wobei sich die letzte Ungleichung aus dem starken Gesetz der großen Zahlen ergibt (vgl. Theorem WR-5.15), weil $h_n(X_1,\ldots,X_n)\stackrel{{\rm f.s.}}{\longrightarrow}{\mathbb{E}\,}_{\theta_0}h(X_1)$ unter $\theta_0$.
• Hieraus folgt, daß
  

  $$1-{\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n) = {\mathbb{E}\,}_{\theta_0}\Bigl((1-\varphi_n(X_1,\ldots,X_n)) \frac{L_1(X_1,\ldots,X_n)}{L_0(X_1,\ldots,X_n)}\Bigr)$$

  $$\ge {\mathbb{E}\,}_{\theta_0}\bigl(e^{-na}(1-\varphi_n(X_1,\ldots,X_n)) {1\hspace{-1mm}{\rm I}}_{\{h_n(X_1,\ldots,X_n)\le a\}}\bigr)$$

  $$\ge e^{-na}{\mathbb{E}\,}_{\theta_0}\bigl({1\hspace{-1mm}{\rm I}}_{\{h_n(X_1,\ldots,X_n)\le a\}} -\varphi_n(X_1,\ldots,X_n)\bigr)$$

  $$\ge e^{-na}\Bigl(\frac{1+\alpha}{2}-\alpha\Bigr) = e^{-na}\;\frac{1-\alpha}{2}\;.$$

  
  

• Damit ist (52) bewiesen.
  
  $\Box$

Beachte

 

• Die Konvergenz (48) in Theorem 4.3 bedeutet, daß für große $n\in\mathbb{N}$

  $${\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)\approx 1-e^{-nH(P_{\theta_0},\,P_{\theta_1})}\,.$$ (53)

  
  

• Mit anderen Worten: Für $n\to\infty$ strebt die Macht ${\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)$ der NP-Tests $\varphi_n$ mit exponentieller Geschwindigkeit gegen $1$.

Beispiel

$\;$ Normalverteilte Stichprobenvariablen

• Falls $P_{\theta_0}=$ N $(\mu_0,\sigma^2)$ und $P_{\theta_1}=$ N $(\mu_1,\sigma^2)$ mit $\mu_0<\mu_1$, dann gilt (vgl. Übungsaufgabe 12.2 d)
  

  $$H(P_{\theta_0},\,P_{\theta_1}) = \displaystyle \int\limits_\mathbb{R}L(x;\theta_0)\log\frac{L(x;\theta_0)}{L(x;\theta_1)}\;dx$$

  $$= \displaystyle \int\limits_\mathbb{R}\frac{1}{\sqrt{2\pi}\sigma}\;... ...)^2}{2\sigma^2}\Bigr) \Bigl(\frac{(x-\mu_1)^2-(x-\mu_0)^2}{2\sigma^2}\Bigr)\;dx$$

  $$= \frac{(\mu_0-\mu_1)^2}{2\sigma^2}\;.$$

  
  

• Beim Test zweier Normalverteilungen mit gleicher Varianz ist also die exponentielle Konvergenzrate $H(P_{\theta_0},\,P_{\theta_1})$ in (53) der Wahrscheinlichkeit für Fehler zweiter Art proportional zur quadratischen Abweichung $(\mu_0-\mu_1)^2$ der Erwartungswerte $\mu_0,\mu_1$.
• Beachte: In dem hier betrachteten Beispiel des Tests zweier Normalverteilungen mit gleicher Varianz kann die Näherungsformel (53) für die Fehlerwahrscheinlichkeit ${\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)$ wie folgt präzisiert werden: Für $n\to\infty$ gilt
  $$1-{\mathbb{E}\,}_{\theta_1}\varphi_n(X_1,\ldots,X_n)\sim \frac{1... ...igma}{\sqrt{2\pi n}}\;\exp\Bigl(\frac{-n(\mu_0-\mu_1)^2}{2\sigma^2}\Bigr)\,,$$
  wobei mit der Schreibweise $a_n\sim b_n$ die asymptotische Äquivalenz der Folgen $\{a_n\}$ und $\{b_n\}$ mit $a_n,b_n>0$ gemeint ist, d.h.,
  $$\lim\limits_{n\to\infty}\;\frac{a_n}{b_n}=1\,,$$
  vgl. auch Übungsaufgabe 12.2 e (bzw. Seite 255 in H.-O. Georgii (2002) Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, de Gruyter, Berlin).