Empirische Verteilungsfunktion

Außer der Schätzung von Erwartungswert $\mu$ und Varianz $\sigma^2$ der Stichprobenvariablen $X_i$ kann auch deren Verteilungsfunktion $F$ aus den vorliegenden Daten $x_1,\ldots,x_n$ geschätzt werden.

• Hierfür betrachten wir für jedes $x\in\mathbb{R}$ die Stichprobenfunktion $\varphi_x:\mathbb{R}^n\to\mathbb{R}$ mit
  $$\varphi_x(x_1,\ldots,x_n)=\frac{1}{n}\vert\{i:\,1\le i\le n,\, x_i\le x\}\vert\,,$$
  wobei $\vert A\vert$ so wie bisher die Anzahl der Elemente der Menge $A$ bezeichnet.
• D.h. $\varphi_x(x_1,\ldots,x_n)$ ist die relative Häufigkeit derjenigen Stichprobenwerte, die den Schwellenwert $x$ nicht überschreiten.

Beachte

 

• Man kann sich leicht überlegen, daß für jeden Vektor $(x_1,\ldots,x_n)\in\mathbb{R}$ die Abbildung

  $$x\to\varphi_x(x_1,\ldots,x_n)$$ (15)

  
  
  die Eigenschaften einer Verteilungsfunktion hat.
• Die in (15) gegebene Abbildung wird deshalb empirische Verteilungsfunktion der (konkreten) Stichprobe $(x_1,\ldots,x_n)$ genannt.

Dies führt zu der folgenden Begriffsbildung.

Definition 5.9

$\;$ Die Abbildung $\hat F_n:\mathbb{R}\times\Omega\to[0,1]$ mit

$$\hat F_n(x,\omega)=\frac{1}{n}\vert\{i:\,1\le i\le n,\, X_i(\omega)\le x\}\vert$$ (16)

heißt empirische Verteilungsfunktion der Zufallsstichprobe $(X_1,\ldots,X_n)$.

Beachte

 

• Die in (16) gegebene Abbildung kann man als eine Familie $\{\hat F_n(x),\, x\in\mathbb{R}\}$ von Zufallvariablen $\hat F_n(x):\Omega\to[0,1]$ auffassen.
• Eine solche Familie von Zufallsvariablen wird empirischer Prozeß genannt.
• Empirische Prozesse sind eine spezielle Klasse stochastischer Prozesse.

Theorem 5.10

$\;$ Für jedes $x\in\mathbb{R}$ gilt:

1. Die Zufallsvariable $n\hat F_n(x)$ ist binomialverteilt mit den Parametern $n$ und $p=F(x)$. D.h., für $k=0,1,\ldots,n$ gilt

   $$P(n\hat F_n(x)=k)={n\choose k}(F(x))^k(1-F(x))^{n-k}\,.$$ (17)

   
   

2. Insbesondere gilt also

   $${\mathbb{E}\,}\hat F_n(x)=F(x) \hat F_n(x)= \frac{1}{n}F(x)(1-F(x))\,.$$ (18)

   
   

3. $$P\Bigl(\lim\limits _{n\to\infty}\hat F_n(x)= F(x)\Bigr)=1\,.$$ (19)

   
   

4. Falls $0<F(x)<1$, dann gilt außerdem für jedes $y\in\mathbb{R}$

   $$\lim\limits _{n\to\infty}P\Bigl(\sqrt{n} \frac{\hat F_n(x)-F(x)}{\sqrt{F(x)(1-F(x))}}\le y\Bigr)=\Phi(y)\,,$$ (20)

   
   
   wobei $\Phi(y)$ die Verteilungsfunktion der Standardnormalverteilung ist.

Beweis

 

• Wegen (16) können wir die Zufallsvariable $n\hat F_n(x)$ als die Anzahl der Erfolge beim $n$-maligen Münzwurf mit den identischen Erfolgswahrscheinlichkeiten $a_1=a_2=\ldots=a_n=F(x)$ auffassen, vgl. Beispiel 2 in Abschnitt 3.2.2. Hieraus ergibt sich (17).
• Damit ist auch (18) bewiesen, vgl. Beispiel 1 in den Abschnitten 4.1.1 und 4.1.2.
• Wegen der Darstellungsmöglichkeit von $n\hat F_n(x)$ als die Anzahl der Erfolge beim $n$-maligen Münzwurf mit identischen Erfolgswahrscheinlichkeiten ist $n\hat F_n(x)$ die Summe von $n$ unabhängigen und identisch (Bernoulli-) verteilten Zufallsvariablen. Deshalb ergibt sich (19) aus dem starken Gesetz der großen Zahlen (vgl. Theorem 4.22).
• Mit der gleichen Begründung ergibt sich (20) unmittelbar aus dem zentralen Grenzwertsatz (vgl. Theorem 4.24).

Beachte

 

• Weil die Zufallsvariable $\hat F_n(x)$ den Erwartungswert $F(x)$ hat (vgl. (18), kann $\hat F_n(x)$ als ein geeigneter Schätzer von $F(x)$ angesehen werden.
• Neben der fast sicheren Konvergenz (19), die für jedes (einzelne) $x\in\mathbb{R}$ gilt, kann man zeigen, daß sich auch die Verteilungsfunktion $F$ insgesamt durch den empirischen Prozeß $\{\hat F_n(x),\, x\in\mathbb{R}\}$ im Sinne der fast sicheren Konvergenz approximieren läßt.
• Dabei ist die folgende Verschärfung des starken Gesetzes der großen Zahlen gemeint, die in der Literatur Satz von Gliwenko/Cantelli genannt wird.

Theorem 5.11

$\;$ Sei

$$D_n=\sup\limits _{x\in\mathbb{R}}\vert\hat F_n(x)-F(x)\vert\,.$$ (21)

Dann gilt

$$P\Bigl(\lim\limits _{n\to\infty} D_n=0\Bigr)=1\,.$$ (22)

Beweis

$\;$ Der Beweis von Theorem 5.11 ist tiefliegend und geht über den Rahmen dieser einführenden Vorlesung hinaus.

Beachte

$\;$ Ein JAVA-Applet, mit dem die Aussage des Satzes von Gliwenko/Cantelli, d.h. der Grenzübergang (22) simuliert werden kann, findet man beispielsweise auf der Internet-Seite:

• http://www.ms.uky.edu/~mai/java/stat/EmpDis.html

Dieses JAVA-Applet simuliert die empirische Verteilungsfunktion $\hat F_n$ für den Fall, daß $F(x)=1-\exp(-x)$ für $x\ge 0$, d.h., $F$ ist die Verteilungsfunktion der Exponentialverteilung Exp$(\lambda)$ mit dem Parameter $\lambda=1$.

Ähnlich wie beim zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen (vgl. Theorem 4.24) kann man zeigen, daß auch $D_n$ bei entsprechend gewählter Normierung gegen einen nichtdeterministischen, d.h. zufälligen Grenzwert (im Sinne der Verteilungskonvergenz) strebt.

Dies ist die Aussage des folgenden Theorems, das Satz von Kolmogorow/Smirnow genannt wird.

Theorem 5.12

$\;$ Falls die Verteilungsfunktion $F$ der Stichprobenvariablen $X_i$ ein stetige Funktion ist, dann gilt für $n\to\infty$

$$\sqrt{n}D_n\overset{\textrm{d}}{\longrightarrow} D\,,$$ (23)

wobei $D$ eine Zufallsvariable ist, deren Verteilungsfunktion gegeben ist durch

$$P(D\le y)=\left\{\begin{array}{ll}\sum\limits _{k=-\infty}^\infty... ...xp(-2k^2y^2) & \mbox{für $y\ge 0$,}\\ 0 & \mbox{für $y<0$.} \end{array}\right.$$ (24)

Beweis

$\;$ Der Beweis von Theorem 5.12 ist tiefliegend und geht über den Rahmen dieser einführenden Vorlesung hinaus.