Vollständigkeit

Um in Abschnitt 2.3.5 die Frage untersuchen zu können, unter welchen Bedingungen erwartungstreue Schätzer mit minimaler Varianz existieren und wie man solche Schätzer gewinnen kann, benötigen wir noch eine weitere Eigenschaft von Punktschätzern.

Definition

$\;$ Sei $\varphi:\mathbb{R}^n\to\mathbb{R}^m$ eine beliebige Stichprobenfunktion. Der Schätzer $\varphi(X_1,\ldots,X_n)$ für $\theta$ heißt vollständig, falls für jede messbare Funktion $g:\mathbb{R}^m\to\mathbb{R}$ aus der Gültigkeit von

$${\mathbb{E}\,}_\theta \bigl\vert g\bigl(\varphi(X_1,\ldots,X_n)\bigr)\bigr\vert<\infty$$   und$$\qquad {\mathbb{E}\,}_\theta g\bigl(\varphi(X_1,\ldots,X_n)\bigr)=0\,,\qquad\forall\,\theta\in\Theta$$

folgt, dass $P_\theta\bigl(g\bigl(\varphi(X_1,\ldots,X_n)\bigr)=0\bigr)=1$ für jedes $\theta\in\Theta$.

Lemma 2.4   Für jede messbare Funktion $\varphi:\mathbb{R}^n\to\mathbb{R}^m$ und für jede messbare Abbildung $g^\prime:\mathbb{R}^m\to\mathbb{R}^m$ ist der Schätzer $g^\prime\bigl(\varphi(X_1,\ldots,X_n)\bigr)$ für $\theta$ vollständig, falls $\varphi(X_1,\ldots,X_n)$ diese Eigenschaft besitzt.

Der Beweis von Lemma 2.4 ergibt sich unmittelbar aus der Definition der Vollständigkeit.

Beachte

$\;$ Für einige Verteilungsfamilien $\{P_\theta,\,\theta\in\Theta\}$ ergibt sich die Vollständigkeit von Punktschätzern direkt aus der Definition dieses Begriffes, ohne dass weitere analytische Hilfsmittel erforderlich sind.

Beispiele

 

1. $\;$ Bernoulli-verteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(1,p),\,p\in(0,1)\}$.
   • Zur Erinnerung: In Abschnitt 2.3.3 hatten wir gezeigt, dass $Y=X_1\ldots+X_n$ und damit auch $\overline X_n$ suffiziente Schätzer für $p$ sind.
   • Wir zeigen nun, dass $Y=X_1\ldots+X_n$ und damit (wegen Lemma 2.4) auch $\overline X_n$ vollständige Schätzer für $p$ sind.
   • Sei $g:\mathbb{R}\to\mathbb{R}$ eine Funktion, so dass ${\mathbb{E}\,}_p g(Y)=0$ für jedes $p\in(0,1)$.
   • Dann gilt für jedes $p\in(0,1)$
     

     $$0={\mathbb{E}\,}_p g(Y) = \sum\limits_{i=0}^n g(i){n\choose i}p^i(1-p)^{n-i}$$

     $$= (1-p)^n\sum\limits_{i=0}^n g(i){n\choose i}\Bigl(\frac{p}{1-p}\Bigr)^i$$

     
     
     und damit für jedes $t\in(0,\infty)$
     $$0=\sum\limits_{i=0}^n g(i){n\choose i}t^i\,.$$

   • Hieraus folgt, dass jeder Koeffizient des Polynoms auf der rechten Seite dieser Gleichung Null sein muss, d.h.
     $$g(i)=0\,,\qquad\forall\, i\in\{0,1,\ldots,n\}\,.$$

2. $\;$ Poisson-verteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Poi $(\lambda),\,\lambda>0\}$.
   • Dann ist $Y=X_1+\ldots+X_n$ für $\lambda$ vollständig, denn
   • es gilt $Y\sim$ Poi $(n\lambda)$, vgl. Übungsaufgabe WR-5.4, und somit gilt
     $$0={\mathbb{E}\,}_\lambda g(Y)=\sum\limits_{k=0}^\infty g(k)\frac{(n\lambda)^k}{k!}\;e^{-n\lambda}\,,\qquad\forall\,\lambda>0$$
     bzw. äquivalent hierzu
     $$0= \sum\limits_{k=0}^\infty g(k)\frac{(n\lambda)^k}{k!} \;,\qquad\forall\,\lambda>0$$
     genau dann, wenn $g(k)=0$ für jedes $k=0,1,\ldots$.
   • Zur Erinnerung: In Abschnitt 2.3.3 hatten wir außerdem mit Hilfe des Faktorisierungssatzes von Neyman-Fisher (vgl.Theorem 2.3) gezeigt, dass $Y=X_1+\ldots+X_n$ auch suffizient für $\lambda$ ist.
3. $\;$ Gleichverteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$U $(0,\theta),\,\theta>0\}$, d.h., die Stichprobenvariablen $X_1,\ldots,X_n$ sind gleichverteilt über dem Intervall $(0,\theta)$, wobei $\theta>0$ eine unbekannte Zahl ist.
   • Wir zeigen nun, dass $\max \{X_1,\ldots,X_n\}$ ein vollständiger Schätzer für $\theta$ ist.
   • Für die Dichte $f_{\max \{X_1,\ldots,X_n\}}(t;\theta)$ von $\max \{X_1,\ldots,X_n\}$ gilt (vgl. Abschnitt 1.4.3)
     $$f_{\max \{X_1,\ldots,X_n\}}(t;\theta)=\left\{\begin{array}{ll} n... ...x{falls $t\in(0,\theta)$,}\\ [3\jot] 0 & \mbox{sonst.} \end{array}\right.$$

   • Sei $g:\mathbb{R}\to\mathbb{R}$ eine Funktion, so dass ${\mathbb{E}\,}_\theta g(\max \{X_1,\ldots,X_n\})=0$ für jedes $\theta\in(0,\infty)$.
   • Dann gilt für jedes $\theta\in(0,\infty)$
     

     $$0=\frac{d}{d\theta}{\mathbb{E}\,}_\theta g(\max \{X_1,\ldots,X_n\}) = \frac{d}{d\theta}\int\limits_0^\theta g(t)nt^{n-1}\theta^{-n}\,dt$$

     $$\stackrel{\rm Produktregel}{=} \theta^{-n}\frac{d}{d\theta}\int\limits_0^\theta g(t)nt^{n-1}\,dt... ...d\theta}\theta^{-n}\Bigr)\underbrace{\int\limits_0^\theta g(t)nt^{n-1}\,dt}_{0}$$

     $$= \theta^{-n}ng(\theta)\theta^{n-1}+0$$

     $$= \theta^{-1}ng(\theta)\,.$$

     
     

   • Hieraus folgt, dass $g(\theta)=0$ für jedes $\theta\in(0,\infty)$.

Beachte

 

• Für einige Verteilungsfamilien $\{P_\theta,\,\theta\in\Theta\}$ ergibt sich die Vollständigkeit von Punktschätzern nicht direkt aus der Definition dieses Begriffes, sondern es sind zusätzliche analytische Hilfsmittel erforderlich.
• Insbesondere ist der folgende Eindeutigkeitssatz für die Laplace-Transformation von $\sigma$-endlichen Maßen nützlich.
• Dabei setzen wir voraus, dass $m=1$ und dass $\Theta\subset\mathbb{R}$ ein (offenes) Intervall ist.

Lemma 2.5   Seien $G_1$ und $G_2$ zwei $\sigma$-endliche Maße über $(\mathbb{R},\mathcal{B}(\mathbb{R}))$, die entweder beide diskret oder beide absolutstetig sind. Falls die Integrale

$$I_j(\theta)=\int\limits_\mathbb{R}e^{\theta y}G_j(dy)\,,\qquad\forall\,\theta\in\Theta,\,j=1,2$$ (47)

existieren (und endlich sind) und falls $I_1(\theta)=I_2(\theta)$ für jedes $\theta\in\Theta$, dann gilt $G_1=G_2$.

Beweis

 

• Wir nehmen zunächst an, dass $[-a,a]\subset\Theta$ für ein $a>0$. Dann gilt insbesondere
  $$I_j(0)=\int\limits_\mathbb{R}G_j(dy)<\infty\,,\qquad j=1,2\,,$$
  d.h., $G_1$ und $G_2$ sind endliche Maße mit $G_1(\mathbb{R})=G_2(\mathbb{R})$.
  • Wir können deshalb o.B.d.A. annehmen, dass $G_1$ und $G_2$ Wahrscheinlichkeitsmaße sind.
  • Außerdem kann man die Funktionen
    $$I^\prime_j(z)=\int\limits_\mathbb{R}e^{(s+it) y}G_j(dy)$$
    der komplexen Variablen $z=s+it$ definieren, die dann in dem Teilgebiet $(-a,a)\times(-\infty,\infty)$ der komplexen Ebene holomorph sind.
  • Weil
    $$I^\prime_1(z)=I^\prime_2(z)$$
    für jedes $z=s+it$ mit $s\in[-a,a]$ und $t=0$, gilt diese Gleichung wegen des Identitätssatzes für holomorphe Funktionen (vgl. Abschnitt 8.1 in R. Remmert (1992) Funktionentheorie 1, Springer, Berlin) wegen der eindeutigen Fortsetzbarkeit auch für jedes $z=s+it$ aus $(-a,a)\times(-\infty,\infty)$.
  • Insbesondere gilt somit

    $$\int\limits_\mathbb{R}e^{it y}G_1(dy)=\int\limits_\mathbb{R} e^{ity}G_2(dy)\,,\qquad\forall\,t\in\mathbb{R}\,.$$ (48)

    
    

  • Wegen des Eindeutigkeitssatzes für charakteristische Funktionen (vgl. Korollar WR-5.5) ergibt sich nun aus (48), dass $G_1=G_2$.
• Falls es kein $a>0$ gibt, so dass $[-a,a]\subset\Theta$, dann betrachten wir die (endlichen) Maße $G_1^*,G_2^*$ mit $G_j^*(dy)=e^{\theta_0 y}G_j(dy)$ für ein $\theta_0\in\Theta$.
  • Dann gibt es ein $a>0$, so dass $G_1^*,G_2^*$ die Bedingungen des Lemmas für alle $\theta\in[-a,a]$ erfüllen.
  • Aus dem ersten Teil des Beweises folgt somit, dass $G_1^*=G_2^*$.
  • Im diskreten Fall ergibt sich hieraus für jedes Atom $x\in\mathbb{R}$ von $G_1^*$ bzw. $G_2^*$, dass
    $$G_1(\{x\})=e^{-\theta_0 x}G_1^*(\{x\})=e^{-\theta_0 x}G_2^*(\{x\})=G_2(\{x\})$$
    und somit $G_1=G_2$.
  • Im absolutstetigen Fall impliziert $G_1^*=G_2^*$ die Gültigkeit von $G_1=G_2$ wegen der Eindeutigkeitseigenschaft von Radon-Nikodym-Dichten.
    
    $\Box$

Beispiele

 

1. $\;$ Exponentialverteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$Exp $(\lambda),\,\lambda>0\}$. Dann ist $Y=X_1+\ldots+X_n$ Erlang-verteilt mit der Dichte
     $$f_Y(y;\lambda)=\frac{\lambda^ny^{n-1}e^{-\lambda y}}{(n-1)!}\,,\qquad\forall\, y>0\,.$$

   • Hieraus folgt, dass $Y$ nicht nur ein suffizienter Schätzer (vgl. Abschnitt 2.3.3), sondern auch ein vollständiger Schätzer für $\lambda$ ist, denn es gilt
     $$0={\mathbb{E}\,}_\lambda g(Y)=\lambda^n\int\limits_0^\infty\frac{g(y)y^{n-1}\,e^{-\lambda y}}{(n-1)!}\;dy\;,\qquad\forall\,\lambda>0$$
     genau dann, wenn

     $$\int\limits_0^\infty \,e^{-\lambda y} g^+(y)y^{n-1} \;dy=\int\limits_0^\infty \,e^{-\lambda y} g^-(y)y^{n-1} \;dy\;,\qquad\forall\,\lambda>0\,,$$ (49)

     
     
     wobei $g^+(y)=\max\{0,g(y)\}$ und $g^-(y)=\max\{0,-g(y)\}$.
   • Weil dabei ${\mathbb{E}\,}_\lambda \vert g(Y)\vert<\infty$ vorausgesetzt wird, sind mit $G_1(B)=\int_B g^+(y)y^{n-1}e^{-y} \;dy$ und $G_2(B)=\int_B g^-(y)y^{n-1}e^{-y} \;dy$ zwei $\sigma$-endliche Maße $G_1$ und $G_2$ gegeben.
   • Wegen Lemma 2.5 gilt somit (49) genau dann, wenn $G_1=G_2$, d.h., $g^+(y)=g^-(y)$ bzw. $g(y)=0$ für fast jedes $y\in\mathbb{R}$.

   
   

2. $\;$ Normalverteilte Stichprobenvariablen
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R}\}$, wobei die Varianz $\sigma^2>0$ bekannt sei.
   • Wir zeigen, dass $\overline X_n$ ein vollständiger Schätzer für $\mu$ ist.
   • Weil $\overline X_n\sim$ N $(\mu,\sigma^2/n)$, gilt somit
     $$f_{\overline X_n}(y;\mu) = \frac{1}{(2\pi\sigma^2/n)^{1/2}}\exp\Bigl(\frac{-n(y-\mu)^2}{2\sigma^2}\Bigr)$$

   • Hieraus folgt, dass
     $$0={\mathbb{E}\,}_\mu g(\overline X_n) =\int\limits_\mathbb{R}g(y... ...l(\frac{-n(y-\mu)^2}{2\sigma^2}\Bigr)\;dy\;, \qquad\forall\,\mu\in\mathbb{R}$$
     genau dann, wenn
     $$0=\int\limits_\mathbb{R}\exp\Bigl(\frac{n\mu}{\sigma^2}\;y\Bigr) ... ...Bigl(\frac{-ny^2}{2\sigma^2}\Bigr)\;dy\;, \qquad\forall\,\mu\in\mathbb{R}\,.$$

   • Hieraus und aus Lemma 2.5 ergibt sich nun (genauso wie in dem vorhergehenden Beispiel exponentialverteilter Stichprobenvariablen), dass dies genau dann gilt, wenn $g(y)=0$ für fast jedes $y\in\mathbb{R}$.