Anwendungsbeispiel: Dichteschätzung

• Seien $X_1,\ldots,X_n:\Omega\to\mathbb{R}$ unabhängige und identisch verteilte Zufallsvariable, deren Verteilung absolutstetig sei.
• Wir fassen die Folge $X_1,\ldots,X_n$ als Modell für die Ergebnisse von $n$ Experimenten, Messungen etc. auf, deren Ergebnisse vom Zufall beeinflusst werden.
• Die Dichte $f:\mathbb{R}\to[0,\infty)$ der Zufallsvariablen $X_1,\ldots,X_n$ sei eine stetige Funktion, und es gelte

  $$f(x)>0\qquad\forall x\in(0,1) \qquad f(x)=0\qquad\forall x\not\in(0,1)\,.$$ (114)

  
  

• Die (konkreten) Funktionswerte $f(x)$ für $x\in(0,1)$ seien jedoch unbekannt.
• Wir wollen nun das folgende Schätzproblem untersuchen: Wie können die Funktionswerte $f(x)$ für $x\in(0,1)$ durch die ,,Beobachtung'' der Zufallsvariablen $X_1,\ldots,X_n$ geschätzt werden?

Theorem 5.25   Für jedes $x\in(0,1)$ gilt

$$\frac{Z_n(x)}{\sqrt{n}}\stackrel{{\rm P}}{\longrightarrow}f(x)\,,$$ (115)

falls $n\to\infty$, wobei

$$Z_n(x)=\char93 \Bigl\{k:\, X_k\in\bigl[\frac{\lfloor x\sqrt{n}\rfloor}{\sqrt{n}},\, \frac{\lfloor x\sqrt{n}\rfloor+1}{\sqrt{n}}\Bigr)\Bigr\}\,.$$ (116)

Beachte

$\;$ Wegen (115) können wir $Z_n(x)/\sqrt{n}$ für hinreichend großes $n$ als Schätzer des Funktionswertes $f(x)$ auffassen; $x\in(0,1)$.

Beweis von Theorem 5.25

 

• Die Gültigkeit von (115) ergibt sich aus der Tschebyschew-Ungleichung (4.72) und aus Satz von Slutsky (vgl. Theorem 5.9).
• Und zwar sei für beliebige $n\in\mathbb{N}$ und $k=\{1,\ldots,n\}$

  $$X_{nk}=\frac{{1\hspace{-1mm}{\rm I}}_{\{\lfloor x\sqrt{n}\rfloor\le\sqrt{n}X_k\le\lfloor x\sqrt{n}\rfloor+1\}}-p_n(x)}{\sqrt{np_n(x)(1-p_n(x))}}\;,$$ (117)

  
  
  wobei
  $$p_n(x)=\int\limits_{\frac{\lfloor x\sqrt{n}\rfloor}{\sqrt{n}}}^{\frac{\lfloor x\sqrt{n}\rfloor+1}{\sqrt{n}}} f(y)\, dy\,.$$

• Die so definierten Zufallsvariablen $X_{n1},\ldots,X_{nn}$ sind unabhängig und identisch verteilt (wobei ihre Verteilung jedoch von $n$ abhängt), und es gilt
  $${\mathbb{E}\,}X_{nk}=0\,,\qquad 0<\sigma_{nk}^2={\rm Var\,} X_{nk}=\frac{1}{n}\;,\qquad \sum\limits_{k=1}^n\sigma_{nk}^2=1\,.$$

• Außerdem gilt die Identität

  $$X_{n1}+\ldots+X_{nn}=\Bigl(\frac{Z_n(x)}{\sqrt{n}}-\sqrt{n}p_n(x)\Bigr) \sqrt{\frac{\sqrt{n}}{\sqrt{n} p_n(x)(1-p_n(x))}}$$ (118)

  
  
  bzw.

  $$\frac{Z_n(x)}{\sqrt{n}}-\sqrt{n}p_n(x)= \sqrt{\frac{\sqrt{n} p_n(x)(1-p_n(x))}{\sqrt{n}}}\;(X_{n1}+\ldots+X_{nn})\,.$$ (119)

  
  

• Weil

  $$\sqrt{n}p_n(x)\to f(x)>0 \qquad 1-p_n(x)\to 1\,,$$ (120)

  
  
  ergibt sich aus (119) und aus der Tschebyschew-Ungleichung (4.72), dass

  $$\frac{Z_n(x)}{\sqrt{n}}-\sqrt{n}p_n(x)\stackrel{{\rm P}}{\longrightarrow}0\,.$$ (121)

  
  

• Außerdem gilt
  $$\frac{Z_n(x)}{\sqrt{n}}-f(x)=\Bigl(\frac{Z_n(x)}{\sqrt{n}}-\sqrt{n}p_n(x)\Bigr)+ \bigl(\sqrt{n}p_n(x)-f(x)\bigr)\,,$$

• Hieraus und aus (120) - (121) ergibt sich nun die Gültigkeit von (115) mit Hilfe der Teilaussage 2 von Theorem 5.8.
  
  $\Box$

Beachte

$\;$ Wenn die Dichte $f:\mathbb{R}\to[0,\infty)$ stetig ist, dann kann man mit Hilfe des zentralen Grenzwertsatzes von Ljapunow (vgl. Theorem 5.23) ein (zufälliges) Konfidenzintervall konstruieren, in dem der unbekannte Funktionswert $f(x)$ für große $n$ mit einer (näherungsweise vorgegebenen) ,,großen'' Wahrscheinlichkeit $1-\alpha\in(1/2,1)$ liegt.

Theorem 5.26   Die Dichte $f:\mathbb{R}\to[0,\infty)$ sei stetig, und es gelte $(\ref{bed.dic.ef})$. Dann gilt für jedes $x\in(0,1)$ und für jedes $\alpha\in(0,1/2)$

$$\lim\limits_{n\to\infty}P\bigl(L_n(x)\le f(x)\le U_n(x)\bigr)= 1-\alpha\,,$$ (122)

wobei

$$L_n(x)=\frac{Z_n(x)- \Phi^{-1}(1-\alpha/2)\sqrt{Z_n(x)+1}}{\sqrt{n}}$$

und

$$U_n(x)= \frac{Z_n(x)+ \Phi^{-1}(1-\alpha/2)\sqrt{Z_n(x)+1}}{\sqrt{n}}\,.$$

Beweis

 

• Aus (120) ergibt sich, dass für $n\to\infty$
  

  $$\sum\limits_{k=1}^n {\mathbb{E}\,}(X_{nk}^4) = \sum\limits_{k=1}^n \frac{(1-p_n(x))^4p_n(x)+p_n^4(x)(1-p_n(x))}{\bigl(np_n(x)(1-p_n(x))\bigr)^2}$$

  $$= \frac{1}{n}\,\frac{(1-p_n(x))^3+p_n^3(x)}{p_n(x)(1-p_n(x))}$$

  $$= \frac{1}{\sqrt{n}}\,\frac{(1-p_n(x))^3+p_n^3(x)}{\sqrt{n}p_n(x)(1-p_n(x))} \to 0\,,$$

  
  

• Die Bedingungen von Theorem 5.23 sind also erfüllt für $\delta=2$.
• Für die in (117) definierten Zufallsvariablen $X_{n1},\ldots,X_{nn}$ gilt deshalb

  $$\lim\limits _{n\to\infty}P\bigl(X_{n1}+\ldots+X_{nn} \le x\bigr)=\Phi(x)\qquad\forall x\in\mathbb{R}\,.$$ (123)

  
  

• Aus der Identität (118) und aus (123) ergibt sich nun, dass für große $n$
  $$P\Bigl(\Bigl\vert\frac{Z_n(x)}{\sqrt{n}}-\sqrt{n}p_n(x)\Bigr\vert... ...t{n}}{\sqrt{n} p_n(x)(1-p_n(x))}}>\Phi^{-1}(1-\alpha/2)\Bigr)\approx \alpha\,.$$

• Wegen (120) ergibt sich hieraus und aus dem Satz von Slutsky (vgl. Theorem 5.9 bzw. 5.11), dass
  $$P\Bigl(-\Phi^{-1}(1-\alpha/2)\le\Bigl(\frac{Z_n(x)}{\sqrt{n}}-f(x... ...\sqrt{\frac{\sqrt{n}}{f(x)}}\le \Phi^{-1}(1-\alpha/2)\Bigr)\approx 1-\alpha\,.$$

• Auf die gleiche Weise ergibt sich nun hieraus und aus (115), dass für große $n$
  $$P\Bigl(-\Phi^{-1}(1-\alpha/2)\le\Bigl(\frac{Z_n(x)}{\sqrt{n}}-f(x... ...r) \sqrt{\frac{n}{Z_n(x)+1}}\le \Phi^{-1}(1-\alpha/2)\Bigr)\approx 1-\alpha\,.$$

• Durch Umstellen dieser Ungleichungskette nach $f(x)$ ergibt sich schließlich das Konfidenzintervall
  $$\bigl(L_n(x),U_n(x)\bigr)=\Bigl(\frac{Z_n(x)- \Phi^{-1}(1-\alpha/... ...t{n}}\;,\;\frac{Z_n(x)+ \Phi^{-1}(1-\alpha/2)\sqrt{Z_n(x)+1}}{\sqrt{n}} \Bigr)$$
  für den unbekannten Funktionswert $f(x)$.
  
  $\Box$