Lemma von Neyman-Pearson

Außerdem kann man zeigen, daß es für jedes $\alpha\in(0,1)$ einen NP-Test zum Niveau $\alpha$ gibt, der dann gemäß Theorem 4.1 bester Test in der Familie aller (randomisierten) Tests zum Niveau $\alpha$ ist. Außerdem ist der NP-Test zum Niveau $\alpha$ in einem gewissen Sinne eindeutig bestimmt. Dieser Existenz- und Eindeutigkeitssatz wird in der Literatur das Fundamentallemma von Neyman-Pearson genannt; zu Ehren von Jerzy Neyman (1894-1981) und Egon Pearson (1895-1980), der Sohn des Statistikers Karl Pearson.

Theorem 4.2    

1.

$\;$ Für jedes $\alpha\in(0,1)$ gibt es ein $a\ge 0$ und einen NP-Test $\varphi_a$ mit ${\mathbb{E}\,}_{\theta_0}\varphi_a(X_1,\ldots,X_n)=\alpha$.

2.

$\;$ Sei $\varphi:\mathbb{R}^n\to[0,1]$ ein weiterer bester Test zum Niveau $\alpha$. Dann gilt

$$\varphi(x)=\varphi_a(x)$$ (32)

für fast jedes $x\in D$, wobei $D=\{x\in\mathbb{R}^n:\,L_1(x)\not= aL_0(x)\}$ und $\varphi_a$ der gemäß Teilaussage $1$ existierende NP-Test zum Niveau $\alpha$ ist. Die Ausnahmemenge in $D$, für die $(\ref{for.ein.np})$ nicht gilt, hat sowohl bezüglich $P_{\theta_0}$ als auch bezüglich $P_{\theta_1}$ die Wahrscheinlichkeit 0.

Beweis

 

• Um die Gültigkeit von Teilaussage 1 zu beweisen, genügt es wegen (29) zu zeigen, daß es reelle Zahlen $a\ge 0$ und $q\in[0,1]$ gibt, so daß

  $$P_{\theta_0}\bigl(x\in\mathbb{R}^n:\,T(x)>a\bigr) +q\,P_{\theta_0}\bigl(x\in\mathbb{R}^n:\,T(x)=a\bigr)=\alpha \,.$$ (33)

  
  

• Sei $F_0:\mathbb{R}\to[0,1]$ die Verteilungsfunktion von $T$ unter $H_0$. Dann ist (33) äquivalent mit

  $$1-F_0(a) +q\bigl(F_0(a)-F_0(a-0)\bigr)=\alpha \,.$$ (34)

  
  

• Sei $a$ das $(1-\alpha)$-Quantil von $F_0$, d.h.,

  $$a=\inf\{t\in\mathbb{R}:\,F_0(t)\ge 1-\alpha\}\,.$$ (35)

  
  

• Dann gilt $0\le a<\infty$, denn wegen $0<1-\alpha<1$ und $F_0(t)=0$ für $t<0$ gilt $a\ge 0$, und wegen
  $$\lim\limits_{t\to\infty} F_0(t)=P_{\theta_0}(T<\infty)=1$$
  gilt auch $a<\infty$.
• Außerdem ergibt sich aus der Definitionsgleichung (35) des $(1-\alpha)$-Quantils $a$, daß

  $$F_0(a-0)\le 1-\alpha\le F_0(a)\,.$$ (36)

  
  

• Falls $F_0(t)$ stetig im Punkt $t=a$ ist, d.h. $F_0(a-0)=F_0(a)$, dann ergibt sich aus (36), daß $1-\alpha=F_0(a)$ und daß somit (34) für jedes $q\in[0,1]$ gilt.
• Falls $F_0(t)$ unstetig im Punkt $t=a$ ist, d.h. $F_0(a-0)<F_0(a)$, dann gilt (34) für
  $$q=\frac{F_0(a)-(1-\alpha)}{F_0(a)-F_0(a-0)}\;.$$

• Um die Gültigkeit von Teilaussage 2 zu beweisen, setzen wir $M_{\not=}=\{x\in\mathbb{R}^n:\,\varphi_a(x)\not=\varphi(x)\}$ und zeigen, daß

  $$P_{\theta_0}(D\cap M_{\not=})=0 \qquad P_{\theta_1}(D\cap M_{\not=})=0\,.$$ (37)

  
  

• Wir betrachten nur den absolutstetigen Fall. Im diskreten Fall ergibt sich die Behauptung auf analoge Weise, wobei lediglich die Integrale in den folgenden Formeln durch entsprechende Summen zu ersetzen sind.
• Weil $\varphi$ und $\varphi_a$ beste Tests sind, gilt
  $${\mathbb{E}\,}_{\theta_1}\varphi_a(X_1,\ldots,X_n)-{\mathbb{E}\,}... ...=\int\limits_{\mathbb{R}^n}\bigl(\varphi_a(x)-\varphi(x)\bigr)L_1(x)\,dx=0\,.$$

• Andererseits ergibt sich aus ${\mathbb{E}\,}_{\theta_0}\varphi_a(X_1,\ldots,X_n)=\alpha$ und ${\mathbb{E}\,}_{\theta_0}\varphi(X_1,\ldots,X_n)\le\alpha$, daß
  $${\mathbb{E}\,}_{\theta_0}\varphi_a(X_1,\ldots,X_n)-{\mathbb{E}\,}... ...t\limits_{\mathbb{R}^n}\bigl(\varphi_a(x)-\varphi(x)\bigr)L_0(x)\,dx\ge 0\,.$$

• Insgesamt ergibt sich somit, daß
  $$\int\limits_{\mathbb{R}^n}\bigl(\varphi_a(x)-\varphi(x)\bigr)\bigl(L_1(x)-aL_0(x)\bigr)\,dx\le 0\,.$$

• Zusammen mit (31) folgt hieraus,daß

  $$\int\limits_{\mathbb{R}^n}\bigl(\varphi_a(x)-\varphi(x)\bigr)\bigl(L_1(x)-aL_0(x)\bigr)\,dx= 0\,.$$ (38)

  
  

• Andererseits gelten für jedes $x\in D\cap M_{\not=}$ die folgenden Implikationen: 
  1. $\;$ $L_1(x)-aL_0(x)>0\Longrightarrow \varphi_a(x)=1,\,\varphi(x)<1\Longrightarrow \varphi_a(x)-\varphi(x)>0\,,$
  2. $\;$ $L_1(x)-aL_0(x)<0\Longrightarrow \varphi_a(x)=0,\,\varphi(x)>0\Longrightarrow \varphi_a(x)-\varphi(x)<0\,.$
• Für jedes $x\in D\cap M_{\not=}$ ist somit der Integrand in (38) strikt positiv, während er für $x\not\in D\cap M_{\not=}$ gleich 0 ist.
• Hieraus folgt, daß das Lebesque-Maß der Menge $D\cap M_{\not=}$ gleich 0 sein muß.
  
  $\Box$

Beispiele

 

1. $\;$ Poisson-verteilte Stichprobenvariablen
   • Sei $\{P_\theta,\,\theta\in\Theta\}=\{$Poi $(\lambda),\,\lambda>0\}$ die Familie der Poisson-Verteilungen.
   • Für zwei beliebige, jedoch vorgegebene Parameterwerte $\lambda_0,\lambda_1>0$ mit $\lambda_0<\lambda_1$ konstruieren wir einen NP-Test zur Verifizierung der (einfachen) Hypothesen
     $$H_0:\lambda=\lambda_0$$   versus$$\qquad H_1:\lambda=\lambda_1\,.$$

   • Für den in (28) eingeführten Likelihood-Quotient $T(x)$ mit
     $$T(x)=\left\{\begin{array}{ll} L_1(x)/L_0(x)\,,&\mbox{falls $L_0(x)>0$\,,}\\ \infty\,,&\mbox{falls $L_0(x)=0$\,,} \end{array}\right.$$
     gilt dann für beliebige $x=(x_1,\ldots,x_n)\in\mathbb{N}^n$
     $$T(x)=\Bigl(\frac{\lambda_1}{\lambda_0}\Bigr)^{x_1+\ldots+x_n}\, e^{-n(\lambda_1-\lambda_0)}\,.$$

   • Weil die rechte Seite dieses Ausdruckes eine streng monoton wachsende Funktion der Summe $x_1+\ldots+x_n$ der Stichprobenwerte $x_1,\ldots,x_n$ ist, läßt sich der Ablehnungsbereich $T(x)>a$ bzw. der Randomisierungsbereich $T(x)=a$ durch einen Schwellenwert $k\in\mathbb{N}$ ausdrücken.
   • Der NP-Test $\varphi_k$ zum Niveau $\alpha$ hat dann die Form

     $$\varphi_k(x)=\left\{\begin{array}{ll} 1\,, &\mbox{falls $x_1+\ld... ...\ldots+x_n=k$,}\\ 0\,, &\mbox{falls $x_1+\ldots+x_n<k$.} \end{array}\right.$$ (39)

     
     

   • Für $\alpha\in(0,1)$ werden die Zahlen $k\in\mathbb{N}$ und $q\in[0,1]$ aus der Gleichung
     $$P_{\lambda_0}(X_1+\ldots+X_n>k)+qP_{\lambda_0}(X_1+\ldots+X_n=k)=\alpha$$
     bestimmt mit
     $$P_{\lambda_0}(X_1+\ldots+X_n>k)=1-e^{-n\lambda_0}\sum\limits_{i=0... ...P_{\lambda_0}(X_1+\ldots+X_n=k)=e^{-n\lambda_0}\;\frac{(n\lambda_0)^k}{k!}\;.$$

   • Wir wählen also die kleinste natürliche Zahl $k\in\mathbb{N}$ mit $P_{\lambda_0}(X_1+\ldots+X_n>k)\le\alpha$ und setzen
     $$q=\frac{\alpha-P_{\lambda_0}(X_1+\ldots+X_n>k)}{P_{\lambda_0}(X_1+\ldots+X_n=k)}\,.$$

2. $\;$ Exponentialverteilte Stichprobenvariablen
   • Sei $\{P_\theta,\,\theta\in\Theta\}=\{$Exp $(\lambda),\,\lambda>0\}$ die Familie der Exponentialverteilungen.
   • Für zwei beliebige, jedoch vorgegebene Parameterwerte $\lambda_0,\lambda_1>0$ mit $\lambda_0>\lambda_1$ konstruieren wir einen NP-Test zur Verifizierung der (einfachen) Hypothesen
     $$H_0:\lambda=\lambda_0$$   versus$$\qquad H_1:\lambda=\lambda_1\,.$$

   • Für den in (28) eingeführten Likelihood-Quotienten $T(x)$ gilt dann
     $$T(x)=\Bigl(\frac{\lambda_1}{\lambda_0}\Bigr)^n\; e^{(\lambda_0-\lambda_1)(x_1+\ldots+x_n)}$$
     für beliebige $x=(x_1,\ldots,x_n)\in(0,\infty)^n$.
   • Weil die rechte Seite dieses Ausdruckes erneut eine streng monoton wachsende Funktion der Summe $x_1+\ldots+x_n$ der Stichprobenwerte $x_1,\ldots,x_n$ ist, läßt sich der Ablehnungsbereich $T(x)>a$ bzw. der Randomisierungsbereich $T(x)=a$ durch einen Schwellenwert $b>0$ der Summe $x_1+\ldots+x_n$ ausdrücken.
   • Der NP-Test $\varphi_b$ zum Niveau $\alpha$ hat dann die Form

     $$\varphi_b(x)=\left\{\begin{array}{ll} 1\,, &\mbox{falls $x_1+\ld... ...\ldots+x_n=b$,}\\ 0\,, &\mbox{falls $x_1+\ldots+x_n<b$.} \end{array}\right.$$ (40)

     
     

   • Weil die Zufallsvariable $X_1+\ldots+X_n$ unter $H_0$ gammaverteilt ist mit $X_1+\ldots+X_n\sim\Gamma(\lambda_0,n)$, gilt
     $$P_{\lambda_0}(X_1+\ldots+X_n=b)=0\,,\qquad\forall\, b>0\,.$$
     Die Zahl $q\in[0,1]$ kann deshalb beliebig (zum Beispiel $q=0$) gewählt werden.
   • Für $\alpha\in(0,1)$ wird $b=b_n>0$ dann aus der Gleichung

     $$P_{\lambda_0}(X_1+\ldots+X_n>b_n)=\alpha$$ (41)

     
     
     bestimmt, d.h., $b_n$ ist das $(1-\alpha)$-Quantil der $\Gamma(\lambda_0,n)$-Verteilung.
   • Beachte: Die Lösung $b_n$ der Gleichung (41) hängt nicht von $\lambda_1$ ab. Außerdem gilt
     $$P_{\lambda}(X_1+\ldots+X_n>b_n)\le\alpha\,,\qquad\forall\,\lambda\ge\lambda_0$$
     und
     $$P_{\lambda}(X_1+\ldots+X_n>b_n)>\alpha\,,\qquad\forall\,\lambda<\lambda_0\,.$$

   • Man kann zeigen, daß dann auch für die Prüfung der (zusammengesetzten) Hypothesen
     $$H_0:\lambda\ge\lambda_0$$   versus$$\qquad H_1:\lambda<\lambda_0$$
     ein gleichmäßig bester (unverfälschter) Test zum Niveau $\alpha$ durch die Stichprobenfunktion $\varphi_{b_n}:(0,\infty)^n\to[0,1]$ mit

     $$\varphi_{b_n}(x)=\left\{\begin{array}{ll} 1\,, &\mbox{falls $x_1... ...+x_n>b_n$,}\\ 0\,, &\mbox{falls $x_1+\ldots+x_n\le b_n$} \end{array}\right.$$ (42)

     
     
     gegeben ist, wobei $b_n$ das $(1-\alpha)$-Quantil der $\Gamma(\lambda_0,n)$-Verteilung ist; vgl. Abschnitt 4.5.6.
   • Aus dem starken Gesetz der großen Zahlen (vgl. Theorem WR-5.15) ergibt sich die Gültigkeit von $(X_1+\ldots+X_n)/n\stackrel{{\rm f.s.}}{\longrightarrow}\lambda_0^{-1}$ unter $H_0: \lambda=\lambda_0$.
   • Hieraus und aus (41) folgt somit, daß $b_n/n\to\lambda_0^{-1}<\lambda^{-1}$ für $n\to\infty$.
   • Die erneute Anwendung des starken Gesetzes der großen Zahlen ergibt nun, daß für jedes $\lambda<\lambda_0$

     $$\lim\limits_{n\to\infty} P_{\lambda}(X_1+\ldots+X_n>b_n)=1\,,$$ (43)

     
     
     d.h., der in (42) gegebene Test ist konsistent.
3. $\;$ Normalverteilte Stichprobenvariablen
   • Sei $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R}\}$ die Familie der Normalverteilungen bei vorgegebener (d.h. bekannter) Varianz $\sigma^2$.
   • Für zwei beliebige Parameterwerte $\mu_0,\mu_1\in\mathbb{R}$ mit $\mu_0<\mu_1$ konstruieren wir einen NP-Test zur Verifizierung der (einfachen) Hypothesen
     $$H_0:\mu=\mu_0$$   versus$$\qquad H_1:\mu=\mu_1\,.$$

   • Für den in (28) eingeführten Likelihood-Quotienten $T(x)$ gilt dann
     

     $$T(x) = \exp\Bigl(-\;\frac{1}{2\sigma^2}\; \sum\limits_{i=1}^n\bigl((x_i-\mu_1)^2-(x_i-\mu_0)^2\bigr)\Bigr)$$

     $$= \exp\Bigl(-\;\frac{n}{2\sigma^2}\;\bigl(2(\mu_0-\mu_1)\overline x_n +\mu_1^2-\mu_0^2\bigr)\Bigr)\,,$$

     
     
     wobei $\overline x_n=n^{-1}(x_1+\ldots+x_n)$ das Stichprobenmittel bezeichnet.
   • Ähnlich wie in den beiden vorhergehenden Beispielen ist der letzte Ausdruckes eine streng monoton wachsende Funktion des Stichprobenmittels $\overline x_n$.
   • Der Ablehnungsbereich $T(x)>a$ läßt sich somit durch einen Schwellenwert $b_n\in\mathbb{R}$ bezüglich $\overline x_n$ ausdrücken.
   • Der NP-Test $\varphi_{b_n}$ zum Niveau $\alpha$ hat also die Form

     $$\varphi_{b_n}(x)=\left\{\begin{array}{ll} 1\,, &\mbox{falls $\ov... ... x_n>b_n$,}\\ 0\,, &\mbox{falls $\overline x_n\le b_n$.} \end{array}\right.$$ (44)

     
     

   • Weil die Zufallsvariable $\overline X_n$ unter $H_0$ normalverteilt ist mit $\overline X_n\sim$ N $(\mu_0,\sigma^2/n)$, ergibt sich $b_n$ aus der Gleichung

     $$\alpha=P_{\mu_0}(\overline X_n>b_n)=1-\Phi\bigl((b_n-\mu_0)\sqrt{n}/\sigma\bigr)\,,$$ (45)

     
     
     d.h., $b_n$ ist das $(1-\alpha)$-Quantil der N $(\mu_0,\sigma^2/n)$-Verteilung.

     
     

   • Beachte: Die Lösung $b_n$ der Gleichung (45) hängt nicht von $\mu_1$ ab. Außerdem gilt
     $$P_{\mu}(\overline X_n>b_n)\le\alpha\,,\qquad\forall\,\mu\le\mu_0$$
     und
     $$P_{\mu}(\overline X_n>b_n)>\alpha\,,\qquad\forall\,\mu>\mu_0$$

   • Man kann zeigen, daß dann auch für die Prüfung der (zusammengesetzten) Hypothesen
     $$H_0:\mu\le\mu_0$$   versus$$\qquad H_1:\mu>\mu_0$$
     ein gleichmäßig bester (unverfälschter) Test zum Niveau $\alpha$ durch die in (44) betrachtete Stichprobenfunktion $\varphi_{b_n}:\mathbb{R}^n\to[0,1]$ gegeben ist; vgl. Abschnitt 4.5.6.
   • Ähnlich wie in Abschnitt 4.2.1 kann man zeigen, daß für die Macht $\alpha^\prime(\mu)$ dieses Tests

     $$\lim\limits_{n\to\infty}\alpha_n^\prime(\mu)=1\,,\qquad \forall\,\mu>\mu_0$$ (46)

     
     
     gilt, d.h., der in (44) gegebene Test ist konsistent.

Beachte

$\;$ Die Frage, wie schnell die Konvergenz in (43) bzw. (46) erfolgt, d.h., wie schnell die Wahrscheinlichkeit des Fehlers zweiter Art bei wachsendem Stichprobenumfang $n$ gegen 0 konvergiert, werden wir in Abschnitt 4.5.4 näher untersuchen.