Suffizienz

Sei $\{P_\theta,\,\theta\in\Theta\}$ ein beliebiges parametrisches Modell mit $\Theta\subset\mathbb{R}^m$, und sei $(X_1,\ldots,X_n)$ eine Zufallsstichprobe über dem (kanonischen) Wahrscheinlichkeitsraum $(\Omega,\mathcal{F},P_\theta)$.

• Zur Erinnerung: Unter gewissen Regularitätsbedingungen hatten wir in Abschnitt 2.3.2 für eine Klasse von erwartungstreuen Schätzern eine untere Schranke für ihre Varianz, die sogenannte Ungleichung von Cramér-Rao, hergeleitet; vgl. Korollar 2.1.
• In Abschnitt 2.3.5 werden wir die Frage untersuchen, unter welchen Bedingungen erwartungstreue Schätzer mit minimaler Varianz existieren und welche Eigenschaften solche Schätzer haben.
• In Zusammenhang hiermit wird die Suffizienz von Schätzern eine wichtige Rolle spielen, wobei diese Eigenschaft intuitiv wie folgt beschrieben werden kann.
• Man sagt, daß der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ suffizient ist, falls (in einem noch zu präzisierenden Sinne) sämtliche Information über $\theta$, die in der Zufallsstichprobe $(X_1,\ldots,X_n)$ enthalten ist, auch in $\varphi(X_1,\ldots,X_n)$ enthalten ist.

Beachte

 

• Typischerweise erfolgt ein ,,Informationsverlust'' beim Übergang von $(X_1,\ldots,X_n)$ nach $\varphi(X_1,\ldots,X_n)$ insofern, daß
• die Funktionswerte der Abbildung $(X_1,\ldots,X_n):\Omega\to\mathbb{R}^n$ im allgemeinen nicht aus den Funktionswerten der Abbildung $\varphi(X_1,\ldots,X_n):\Omega\to\mathbb{R}^m$ rekonstruiert werden können.
• Von Suffizienz spricht man, wenn dieser ,,Informationsverlust'' in einem gewissen (stochastischen) Sinne nicht wesentlich ist.

Wir präzisieren dies zunächst für den diskreten Fall, d.h., für jedes $\theta\in\Theta$ gelte

• $P_\theta(X_1\in C)=1$ für eine abzählbare Menge $C\subset\mathbb{R}$, die nicht von $\theta$ abhängt, wobei wir mit $\{p(x;\theta),\, x\in C\}$ die Wahrscheinlichkeitsfunktion von $X_1$ bezeichnen und o.B.d.A. annehmen, daß $p(x;\theta)>0$ für jedes $x\in C$.
• Dann gilt auch $P_\theta(\varphi(X_1,\ldots,X_n)\in C^\prime)=1$ für jedes $\theta\in\Theta$, wobei $C^\prime\subset\mathbb{R}^m$ die minimale abzählbare Menge mit dieser Eigenschaft sei, d.h., daß $P_\theta(\varphi(X_1,\ldots,X_n)=t)>0$ für jedes $t\in C^\prime$.

Definition

$\;$ Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ heißt suffizient, falls für beliebige $x_1,\ldots,x_n\in C$ und $t\in C^\prime$ die bedingten Wahrscheinlichkeiten

$$P_\theta(X_1=x_1,\ldots,X_n=x_n\mid\varphi(X_1,\ldots,X_n)=t)= \... ...dots,X_n=x_n,\varphi(X_1,\ldots,X_n)=t)}{ P_\theta(\varphi(X_1,\ldots,X_n)=t)}$$ (37)

nicht von $\theta$ abhängen.

Beachte

 

• Falls (37) gilt, dann ist es nicht möglich, der (konkreten) Stichprobe $(x_1,\ldots,x_n)$ mit Hilfe der (bedingten) Likelihood-Funktion
  $$L_t(x_1,\ldots,x_n;\theta)=P_\theta(X_1=x_1,\ldots,X_n=x_n\mid\varphi(X_1,\ldots,X_n)=t)$$
  einen (eindeutig bestimmten) ML-Schätzwert $\widehat\theta(x_1,\ldots,x_n)$ für $\theta$ zuzuordnen.
• Mit anderen Worten: Falls $\varphi(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$ ist und falls bekannt ist, daß $\varphi(X_1,\ldots,X_n)=t$, dann kann aus der zusätzlichen Kenntnis der einzelnen Stichprobenwerte $x_1,\ldots,x_n$ keine weitere Information über den unbekannten Parametervektor $\theta$ gewonnen werden.

Zunächst zeigen wir, daß die Suffizienz bei (bijektiven) zusammengesetzten Stichprobenfunktionen nicht verloren geht.

Lemma 2.1   Sei $\varphi(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$, und sei $g:\mathbb{R}^m\to\mathbb{R}^m$ eine bijektive Borel-meßbare Abbildung. Dann ist auch $g\circ\varphi(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$.

Beweis

  Für jedes $t\in\mathbb{R}^m$ mit $P_\theta(g\circ\varphi(X_1,\ldots,X_n)=t)>0$ gilt

$${ P_\theta(X_1=x_1,\ldots,X_n=x_n\mid g\circ\varphi(X_1,\ldots,X_n)=t)}$$

$$= \frac{P_\theta(X_1=x_1,\ldots,X_n=x_n,g\circ\varphi(X_1,\ldots,X_n)=t)}{ P_\theta(g\circ\varphi(X_1,\ldots,X_n)=t)}$$

$$= \frac{P_\theta(X_1=x_1,\ldots,X_n=x_n,\varphi(X_1,\ldots,X_n)=g^{-1}(t))}{ P_\theta(\varphi(X_1,\ldots,X_n)=g^{-1}(t))}\;,$$

wobei der letzte Ausdruck nicht von $\theta$ abhängt, weil $\varphi(X_1,\ldots,X_n)$ suffizient ist.

$\Box$

Beachte

 

• Wir leiten nun eine (notwendige und hinreichende) Bedingung für die Suffizienz von Schätzern her, die sich unmittelbar aus der Definition dieser Güteeigenschaft ergibt.
• Dabei verwenden wir die abkürzende Schreibweise
  $$p(x_1,\ldots,x_n;\theta)=P_\theta(X_1=x_1,\ldots,X_n=x_n)\,,\qquad\forall\, x_1,\ldots,x_n\in C\,,$$
  für die Wahrscheinlichkeitsfunktion der Zufallsstichprobe $(X_1,\ldots,X_n)$, und
  $$q( t;\theta)=P_\theta(\varphi(X_1,\ldots,X_n)=t)\,,\qquad\forall\, t\in C^\prime\,,$$
  für die Wahrscheinlichkeitsfunktion von $\varphi(X_1,\ldots,X_n)$.

Lemma 2.2   Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ ist genau dann suffizient, wenn für beliebige $x_1,\ldots,x_n\in C$ der Quotient $p(x_1,\ldots,x_n;\theta)/q( \varphi(x_1,\ldots,x_n);\theta)$ nicht von $\theta\in\Theta$ abhängt.

Beweis

 

• Sei $x_1,\ldots,x_n\in C$ und $t\in C^\prime$.
• Weil die bedingten Wahrscheinlichkeiten in (37) gleich 0 sind, falls $t\not=\varphi(x_1,\ldots,x_n)$, genügt es, den Fall $t=\varphi(x_1,\ldots,x_n)$ zu betrachten.
• Offenbar gilt
  $$\{(X_1,\ldots,X_n)=(x_1,\ldots,x_n)\}\subset\{\varphi(X_1,\ldots,X_n)= \varphi(x_1,\ldots,x_n)\}\,.$$

• Hieraus folgt, daß
  

  $${ P_\theta(X_1=x_1,\ldots,X_n=x_n\mid\varphi(X_1,\ldots,X_n) =\varphi(x_1,\ldots,x_n))}$$

  $$= \frac{P_\theta(X_1=x_1,\ldots,X_n=x_n,\varphi(X_1,\ldots,X_n)=\varphi(x_1,\ldots,x_n))}{ P_\theta(\varphi(X_1,\ldots,X_n)=\varphi(x_1,\ldots,x_n))}$$

  $$= \frac{P_\theta(X_1=x_1,\ldots,X_n=x_n)}{ P_\theta(\varphi(X_1,\ldots,X_n)=\varphi(x_1,\ldots,x_n))}$$

  $$= \frac{p(x_1,\ldots,x_n;\theta)}{q(\varphi(x_1,\ldots,x_n);\theta)}\;.$$

  
  
  
   
    $\Box$
  
  
  

Beispiel

$\;$ Bernoulli-verteilte Stichprobenvariablen

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(1,\theta),\,\theta\in(0,1)\}$.
• Wir zeigen, daß $\overline X_n$ ein suffizienter Schätzer für $\theta$ ist.
• Wegen Lemma 2.1 genügt es zu zeigen, daß der Schätzer $Y=X_1\ldots+X_n$ suffizient ist.
• Mit der abkürzenden Schreibweise $t=x_1+\ldots+x_n$ gilt für beliebige $\theta\in(0,1)$ und $x_1,\ldots,x_n\in\{0,1\}$
  

  $$\frac{p(x_1,\ldots,x_n;\theta)}{q(t;\theta)} = \displaystyle \frac{\prod\limits_{i=1}^n\theta^{x_i}(1-\theta)^{1-x_i}}{\displaystyle{n\choose t}\theta^t(1-\theta)^{n-t}}$$

  $$= \frac{\theta^{\sum_i x_i}(1-\theta)^{\sum_i(1-x_i)}}{\displaystyle{n\choose t}\theta^t(1-\theta)^{n-t}}$$

  $$= \frac{\theta^t(1-\theta)^{n-t}}{\displaystyle{n\choose t}\theta^t(1-\theta)^{n-t}}$$

  $$= \frac{1}{\displaystyle{n\choose t}} = \frac{1}{\displaystyle{n\choose x_1+\ldots+x_n}}\;.$$

  
  

• Weil der letzte Quotient nicht von $\theta$ abhängt, ergibt sich aus Lemma 2.2, daß der Schätzer $Y=X_1+\ldots+X_n$ suffizient ist.

Beachte

 

• Die folgende (verallgemeinerte) Fassung von Lemma 2.2 wird in der Literatur Faktorisierungssatz von Neyman-Fisher genannt.
• Dieser Faktorisierungssatz beinhaltet eine andere (notwendige und hinreichende) Bedingung für die Suffizienz, die gegenüber der in Lemma 2.2 angegebenen Bedingung den Vorteil besitzt, daß die Wahrscheinlichkeitsfunktion von $\varphi(X_1,\ldots,X_n)$ nicht explizit berechnet werden muß.

Theorem 2.3   Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ ist genau dann suffizient, wenn es Borel-meßbare Funktionen $g:\mathbb{R}^m\times\Theta\to\mathbb{R}$ und $h:\mathbb{R}^n\to\mathbb{R}$ gibt, so daß

$$p(x_1,\ldots,x_n;\theta)=g\bigl(\var... ...1,\ldots,x_n)\,,\qquad\forall\,x_1,\ldots,x_n\in\mathbb{R},\,\theta\in\Theta\,.$$ (38)

Beweis

 

• Die Notwendigkeit der Bedingung (38) ergibt sich unmittelbar aus Lemma 2.2.
• Wir nehmen nun an, daß sich die Wahrscheinlichkeitsfunktion $p(x_1,\ldots,x_n;\theta)$ auf die in (38) gegebene Weise darstellen läßt.
• So wie bisher sei $q(t;\theta)$ die Wahrscheinlichkeitsfunktion von $\varphi(X_1,\ldots,X_n)$.
• Mit der Schreibweise $B_{\varphi(x_1,\ldots,x_n)}=\{(y_1,\ldots,y_n)\in\mathbb{R}^n: \varphi(y_1,\ldots,y_n)=\varphi(x_1,\ldots,x_n)\}$ ergibt sich dann aus (38), daß
  

  $$\frac{p(x_1,\ldots,x_n;\theta)}{q(\varphi(x_1,\ldots,x_n);\theta)} \stackrel{(\ref{for.fac.ney})}{=} \frac{g\bigl(\varphi(x_1,\ldots,x_n),\theta\bigr)\, h(x_1,\ldots,x_n)}{q(\varphi(x_1,\ldots,x_n);\theta)}$$

  $$= \frac{g\bigl(\varphi(x_1,\ldots,x_n),\theta\bigr)\, h(x_1,\ldots,... ...mits_{(y_1,\ldots,y_n)\in B_{\varphi(x_1,\ldots,x_n)}}p(y_1,\ldots,y_n;\theta)}$$

  $$\stackrel{(\ref{for.fac.ney})}{=} \frac{g\bigl(\varphi(x_1,\ldots,x_n),\theta\bigr)\, h(x_1,\ldots,... ...1,\ldots,x_n)}}g\bigl(\varphi(y_1,\ldots,y_n),\theta\bigr)\, h(y_1,\ldots,y_n)}$$

  $$= \frac{g\bigl(\varphi(x_1,\ldots,x_n),\theta\bigr)\, h(x_1,\ldots,... ...sum\limits_{(y_1,\ldots,y_n)\in B_{\varphi(x_1,\ldots,x_n)}} h(y_1,\ldots,y_n)}$$

  $$= \frac{ h(x_1,\ldots,x_n)}{\sum\limits_{(y_1,\ldots,y_n)\in B_{\varphi(x_1,\ldots,x_n)}} h(y_1,\ldots,y_n)}\;.$$

  
  

• Weil der letzte Ausdruck nicht von $\theta$ abhängt, ergibt sich nun aus Lemma 2.2, daß der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ suffizient ist.
  
  $\Box$

Beispiel

$\;$ Poissonverteilte Stichprobenvariablen

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Poi $(\lambda),\,\lambda>0\}$, d.h., die Stichprobenvariablen $X_1,\ldots,X_n$ sind Poisson-verteilt, wobei $\lambda$ eine (unbekannte) positive Zahl ist.
• Wir zeigen mit Hilfe von Theorem 2.3, daß $\overline X_n$ ein suffizienter Schätzer für $\lambda$ ist.
• Es gilt
  $$p(x_1,\ldots,x_n;\theta)=\left\{\begin{array}{ll} \frac{\lambda^... ...,\ldots,x_n\in\mathbb{N}$,}\\ [3\jot] 0 & \mbox{sonst.} \end{array}\right.$$

• Hieraus ergibt sich, daß
  $$p(x_1,\ldots,x_n;\lambda)=\underbrace{\lambda^{x_1+\ldots+x_n} e... ...}{\rm I}}\bigl((x_1,\ldots,x_n)\in\mathbb{N}^n\bigr)}_{=h(x_1,\ldots,x_n)}\,.$$

• Die Wahrscheinlichkeitsfunktion $p(x_1,\ldots,x_n;\lambda)$ läßt sich also auf die in (38) gegebene Weise darstellen.
• Wegen Theorem 2.3 ist somit $\overline X_n$ ein suffizienter Schätzer für $\lambda$.

Wir betrachten nun den absolutstetigen Fall, d.h.,

• für jedes $\theta\in\Theta$ gelte
  $$P_\theta(B)=\int\limits _B f(y;\theta)\,dy\,,\qquad\forall\,B\in\mathcal{B}(\mathbb{R})\,,$$
  wobei $f(\cdot\,;\theta)$ die Dichte von $P_\theta$ ist.
• Die Menge $\{x\in\mathbb{R}: f(x;\theta)>0\}$ sei die Vereinigung von endlich vielen Intervallen, die nicht von $\theta\in\Theta$ abhängen.
• Außerdem sei $\varphi:\mathbb{R}^n\to\mathbb{R}^m$ eine Stichprobenfunktion, so daß auch die Verteilung von $\varphi(X_1,\ldots,X_n)$ absolutstetig ist. Die Dichte $f_{\varphi(X_1,\ldots,X_n)}(t;\theta)$ von $\varphi(X_1,\ldots,X_n)$ sei stetig in $t$.
• Dann gilt
  $$P_\theta(\varphi(X_1,\ldots,X_n)=t)=0\,,\qquad\forall\, t\in\mathbb{R}^m\,.$$

• Um den Begriff der Suffizienz definieren zu können, wird deshalb ein allgemeineres Konzept für bedingte Wahrscheinlichkeiten benötigt, als es in Abschnitt WR-2.6 eingeführt worden ist.
• Dabei fassen wir die bedingte Wahrscheinlichkeit $P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=t\bigr)$ als Grenzwert auf: Falls

  $$P_\theta\bigl(\varphi(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)>0\,, \qquad\forall\,\varepsilon>0\,,$$ (39)

  
  
  dann setzen wir

  $$P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=... ...X_n)\in B \mid\varphi(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)\,,$$ (40)

  
  
  wobei vorausgesetzt wird, daß der Grenzwert existiert. Ansonsten setzen wir
  $$P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=t\bigr)=0\,.$$

Definition

$\;$ Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ heißt suffizient, falls für beliebige $B\in\mathcal{B}(\mathbb{R}^n)$ und $t\in\mathbb{R}^m$ die bedingte Wahrscheinlichkeit $P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=t\bigr)$ nicht von $\theta$ abhängt.

Beachte

 

• Ähnlich wie im diskreten Fall (vgl. Lemma 2.2) kann man auch im absolutstetigen Fall zunächst eine (hinreichende) Bedingung für die Suffizienz von Schätzern angeben, die direkt an die Definition dieser Güteeigenschaft anknüpft.
• Um die Gültigkeit dieser Bedingung überprüfen zu können, ist dabei jedoch die Kenntnis der Dichte des Schätzers $\varphi(X_1,\ldots,X_n)$ erforderlich.

Lemma 2.3   Sei $f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\theta)$ die Dichte der Zufallsstichprobe $(X_1,\ldots,X_n)$, und $f_{\varphi(X_1,\ldots,X_n)}(t;\theta)$ sei die Dichte von $\varphi(X_1,\ldots,X_n)$. Falls für beliebige $x_1,\ldots,x_n\in \mathbb{R}$ mit

$$f_{\varphi(X_1,\ldots,X_n)}( \varphi(x_1,\ldots,x_n);\theta)>0$$ (41)

der Quotient $f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\theta)/f_{\varphi(X_1,\ldots,X_n)}( \varphi(x_1,\ldots,x_n);\theta)$ nicht von $\theta\in\Theta$ abhängt, dann ist durch $\varphi(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$ gegeben.

Beweis

 

• Sei $t\in\mathbb{R}^m$ so gewählt, daß (39) gilt.
• Dann ist
  

  $${ P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=t\bigr)}$$

  $$= \lim\limits_{\varepsilon\downarrow 0}P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)$$

  $$= \lim\limits_{\varepsilon\downarrow 0} \frac{P_\theta\bigl((X_1,\l... ...}{P_\theta\bigl( \varphi(X_1,\ldots,X_n)\in(t-\varepsilon,t+\varepsilon)\bigr)}$$

  $$= \lim\limits_{\varepsilon\downarrow 0} \frac{\int\limits_B{1\hspac... ...its_{(t-\varepsilon,t+\varepsilon)} f_{\varphi(X_1,\ldots,X_n)}(y;\theta)\, dy}$$

  $$= \lim\limits_{\varepsilon\downarrow 0}\frac{1}{(2\varepsilon)^m}\i... ...varphi(X_1,\ldots,X_n)}(\varphi(x_1,\ldots,x_n);\theta)}\; d(x_1,\ldots,x_n)\,.$$

  
  

• Hieraus ergibt sich, daß die bedingte Wahrscheinlichkeit $P_\theta\bigl((X_1,\ldots,X_n)\in B \mid\varphi(X_1,\ldots,X_n)=t\bigr)$ nicht von $\theta\in\Theta$ abhängt, falls der Quotient $f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\theta)/f_{\varphi(X_1,\ldots,X_n)}( \varphi(x_1,\ldots,x_n);\theta)$ diese Eigenschaft für alle $x_1,\ldots,x_n\in \mathbb{R}$ besitzt, für die (41) gilt.
  
  $\Box$

Beispiele

 

1. $\;$ Normalverteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R}\}$, wobei die Varianz $\sigma^2>0$ bekannt sei.
   • Wir zeigen, daß $\overline X_n$ ein suffizienter Schätzer für $\mu$ ist.
   • Für die gemeinsame Dichte $f_{(X_1,\ldots,X_n)}$ der Zufallsstichprobe $(X_1,\ldots,X_n)$ gilt
     

     $$f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\mu) = \prod\limits_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma} \exp\Bigl(-\,\frac{(x_i-\mu)^2}{2\sigma^2}\Bigr)$$

     $$= \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\sum\limits_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\Bigr)$$

     $$= \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\sum\limits_{i=1}^n\frac{(x_i-\overline x_n+\overline x_n-\mu)^2}{2\sigma^2}\Bigr)$$

     $$= \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\sum\limits_{i=1}^n\f... ...\overline x_n)^2}{2\sigma^2} -\frac{n(\overline x_n-\mu)^2}{2\sigma^2}\Bigr)\,,$$

     
     
     wobei in der letzten Gleichheit die Tatsache genutzt wurde, daß
     $$\sum\limits_{i=1}^n(x_i-\overline x_n)(\overline x_n-\mu)=(\overline x_n-\mu)\sum\limits_{i=1}^n(x_i-\overline x_n)=0\,.$$

   • Weil $\overline X_n\sim$ N $(\mu,\sigma^2/n)$, gilt somit
     

     $$\frac{f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\mu)}{f_{\overline X_n}( \overline x_n;\mu)} = \frac{\displaystyle\frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\s... ...\pi\sigma^2/n)^{1/2}}\exp\Bigl(\frac{-n(\overline x_n-\mu)^2}{2\sigma^2}\Bigr)}$$

     $$= \frac{1}{\sqrt{n}(2\pi\sigma^2)^{(n-1)/2}} \exp\Bigl(-\,\sum\limits_{i=1}^n\frac{(x_i-\overline x_n)^2}{2\sigma^2}\Bigr)\,,$$

     
     
     wobei der letzte Ausdruck nicht von $\mu$ abhängt.
   • Aus Lemma 2.3 ergibt sich nun, daß $\overline X_n$ ein suffizienter Schätzer für $\mu$ ist.
2. $\;$ Exponentialverteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$ Exp $(\lambda),\,\lambda>0\}$.
   • Wir zeigen zunächst, daß $Y=X_1+\ldots+X_n$ ein suffizienter Schätzer für $\lambda$ ist.
   • Für die gemeinsame Dichte $f_{(X_1,\ldots,X_n)}$ der Zufallsstichprobe $(X_1,\ldots,X_n)$ gilt
     $$f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\lambda)=\lambda^n\exp\Bigl(-\lambda\sum\limits_{i=1}^n x_i\Bigr)\,.$$

   • Weil $Y$ Erlang-verteilt ist mit der Dichte
     $$f_Y(y;\lambda)=\frac{\lambda^ny^{n-1}e^{-\lambda y}}{(n-1)!}\,,\qquad\forall\, y>0\,,$$
     ergibt sich somit, daß
     

     $$\frac{f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\lambda)}{f_Y( x_1+\ldots+x_n;\lambda)} = \frac{\lambda^n e^{ -\lambda(x_1+\ldots+x_n)} }{\displaystyle\frac{\lambda^n(x_1+\ldots+x_n)^{n-1}e^{-\lambda (x_1+\ldots+x_n)}}{(n-1)!}}$$

     $$= \frac{(n-1)!}{(x_1+\ldots+x_n)^{n-1}}\;.$$

     
     

   • Aus Lemma 2.3 ergibt sich nun, daß $Y$ ein suffizienter Schätzer für $\lambda$ ist.
   • Aus einer ähnlichen Überlegung wie im Beweis von Lemma 2.1 ergibt sich darüber hinaus, daß auch $n/Y$ ein suffizienter Schätzer für $\lambda$ ist, für den außerdem
     $$n/Y\stackrel{{\rm f.s.}}{\longrightarrow}\lambda$$
     für $n\to\infty$ (wegen des starken Gesetzes der großen Zahlen) gilt; vgl. auch Abschnitt 2.4.1.

Beachte

 

• Es ist jedoch oft schwierig, die Dichte des Schätzers $\varphi(X_1,\ldots,X_n)$ zu bestimmen und die Gültigkeit der in Lemma 2.3 angegebenen Bedingung nachzuprüfen.
• So wie im diskreten Fall liefert dann die folgende Variante des Faktorisierungssatzes von Neyman-Fisher eine alternative (leichter nachprüfbare) Bedingung für die Suffizienz.

Theorem 2.4   Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ ist genau dann suffizient, wenn es Borel-meßbare Funktionen $g:\mathbb{R}^m\times\Theta\to\mathbb{R}$ und $h:\mathbb{R}^n\to\mathbb{R}$ gibt, so daß

$$f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;... ...\ldots,x_n)\,,\qquad\forall\,x_1,\ldots,x_n\in\mathbb{R},\,\theta\in\Theta\,.$$

Der Beweis von Theorem 2.4 geht über den Rahmen dieser einführenden Vorlesung hinaus; vgl. beispielsweise Abschnitt 3.3 in H. Pruscha (2000) Vorlesungen über Mathematische Statistik, Teubner-Verlag, Stuttgart, oder Abschnitt 2.6 in E.L. Lehmann (1997) Testing Statistical Hypotheses, 2nd ed., Springer-Verlag, New York.

Beispiel

$\;$ Normalverteilte Stichprobenvariablen (Fortsetzung)

• Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R},\, \sigma^2> 0\}$, wobei sowohl $\mu\in\mathbb{R}$ als auch $\sigma^2>0$ unbekannt sei.
• Wir zeigen zunächst, daß
  $$\widehat\theta(X_1,\ldots,X_n)=\Bigl(\sum\limits_{i=1}^n X_i,\,\sum\limits_{i=1}^n X_i^2\Bigr)$$
  ein suffizienter Schätzer für $\theta=(\mu,\sigma^2)$ ist.
• Zur Erinnerung: Für die gemeinsame Dichte $f_{(X_1,\ldots,X_n)}$ der Zufallsstichprobe $(X_1,\ldots,X_n)$ gilt
  

  $$f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\mu,\sigma^2) = \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\sum\limits_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\Bigr)$$

  $$= \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\Bigl(-\,\frac{1}{2\sigma^2}\Bigl(\sum\limits_{i=1}^n x_i^2-2\mu\sum\limits_{i=1}^n x_i+n\mu^2\Bigr)\Bigr)\,.$$

  
  

• Somit ist $f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\mu,\sigma^2)$ eine Funktion $g\bigl(\varphi(x_1,\ldots,x_n),\theta\bigr)$ von $\widehat\theta(X_1,\ldots,X_n)$ und $\theta$.
• Aus Theorem 2.4 ergibt sich nun, daß $\widehat\theta(X_1,\ldots,X_n)$ ein suffizienter Schätzer für $\theta$ ist.
• Weil
  

  $$\sum\limits_{i=1}^n(x_i-\mu)^2 = \sum\limits_{i=1}^n\bigl(x_i-\overline x_n+(\overline x_n -\mu)\bigr)^2$$

  $$= (n-1)s_n^2+n(\overline x_n-\mu)^2\,,$$

  
  
  läßt sich $f_{(X_1,\ldots,X_n)}(x_1,\ldots,x_n;\mu,\sigma^2)$ darüber hinaus als Funktion von $(\overline x_n,s_n^2)$ und $\theta$ darstellen.
• Wegen Theorem 2.4 ist somit auch $\bigl(\overline X_n,S_n^2\bigr)$ ein suffizienter Schätzer für $\theta=(\mu,\sigma^2)$.