Verteilung des maximalen Schätzfehlers

• Um die Verteilung des maximalen Schätzfehlers $D_n$ bei der Schätzung der Funktionswerte $F(x)$ von $F$ durch $\,\widehat F_n(x)$ näher zu untersuchen, benötigen wir den folgenden Begriff.
• Das Intervall $I=(a,b]\subset\mathbb{R}$ mit $a<b$ heißt Konstanzbereich der Verteilungsfunktion $F$ von $X_1,\ldots,X_n$, falls $P(X_1\in I)=0$ und falls es kein größeres Intervall mit dieser Eigenschaft gibt, das $I$ enthält.
• Für den Fall, dass die Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ der Stichprobenvariablen $X_1,\ldots,X_n$ stetig ist, zeigen wir nun, dass der Kolmogorow-Abstand $D_n$ eine sogenannte verteilungsfreie Stichprobenfunktion ist.
• Damit ist gemeint, dass die Verteilung von $D_n$ nicht von der speziellen Ausprägung der stetigen Verteilungsfunktion $F$ abhängt.

Theorem 1.19   Für jede stetige Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ gilt

$$D_n\stackrel{{\rm d}}{=}\sup\limits_{y\in[0,1]}\bigl\vert\,\,\widehat G_n(y)-y\bigr\vert\,,$$ (78)

wobei $\,\widehat G_n:\mathbb{R}\times\Omega\to[0,1]$ die empirische Verteilungsfunktion einer beliebigen Zufallsstichprobe $(Y_1,\ldots,Y_n)$ ist, die aus $n$ unabhängigen und in dem Intervall $[0,1]$ gleichverteilten Stichprobenvariablen $Y_1,\ldots,Y_n$ besteht.

Beweis

 

• Sei $B$ die Vereinigung aller Konstanzbereiche von $F$. Dann gilt mit Wahrscheinlichkeit 1

  $$D_n=\sup\limits_{x\in B^c}\vert\,\widehat F_n(x)-F(x)\vert\,.$$ (79)

  
  

• Außerdem gilt für jedes $x\in B^c$

  $$\{X_i\le x\}=\{F(X_i)\le F(x)\}$$ (80)

  
  

• Wir setzen nun $Y_i=F(X_i)$ für jedes $i\in\{1,\ldots,n\}$.
• Aus Theorem 1.8 (vgl. auch Theorem WR-3.18) ergibt sich dann, dass die Zufallsvariablen $Y_1,\ldots,Y_n$ unabhängig sind.
• Weil $F$ stetig ist, gibt es für jedes $y\in(0,1)$ ein $x_y\in\mathbb{R}$, so dass
  $$x_y=\inf\{x^\prime:F(x^\prime)=y\}\in B^c\,.$$

• Folglich gilt für jedes $y\in(0,1)$
  $$P(Y_i\le y)=P(F(X_i)\le F(x_y))=P(X_i\le x_y)=F(x_y)=y\,,$$
  wobei sich die zweite Gleichheit aus (80) ergibt.
• Die Zufallsvariablen $Y_1,\ldots,Y_n$ sind also unabhängig und im Intervall $[0,1]$ gleichverteilt.
• Wegen (80) gilt somit, dass $\widehat F_n(x)=\widehat G_n(F(x))$ für jedes $x\in B^c$.
• Hieraus und aus (79) folgt, dass
  

  $$D_n \stackrel{(\ref{rep.deh.en})}{=} \sup\limits_{x\in B^c}\vert\,\widehat F_n(x)-F(x)\vert$$

  $$= \sup\limits_{x\in B^c}\vert\,\widehat G_n(F(x))-F(x)\vert$$

  $$= \sup\limits_{x\in \mathbb{R}}\vert\,\widehat G_n(F(x))-F(x)\vert$$

  $$= \sup\limits_{y\in [0,1]}\vert\,\widehat G_n(y)-y\vert\,,$$

  
  
  wobei in der letzten Gleichheit erneut die Voraussetzung genutzt wurde, dass $F$ stetig ist.
  
  $\Box$

Korollar 1.3   Für jede stetige Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ gilt

$$D_n\stackrel{{\rm d}}{=}\max\limits_{i\in\{1,\ldots,n\}} \max\Bigl\{Y_{(i)}-\frac{i-1}{n}\,,\, \frac{i}{n}-Y_{(i)}\Bigr\}\,,$$ (81)

wobei $Y_{(i)}$ die $i$-te Ordnungsstatistik der in $[0,1]$ gleichverteilten Stichprobenvariablen $Y_1,\ldots,Y_n$ ist.

Beweis

 

• Wegen Theorem 1.19 können wir o.B.d.A. annehmen, dass $F(x)=x$ für jedes $x\in[0,1]$.
• Aus der Darstellungsformel (69) für $D_n$ ergibt sich dann, dass
  

  $$D_n = \max\limits_{i\in\{1,\ldots,n\}}\max\Bigl\{ F(X_{(i)}-0)-\frac{i-1}{n}\,,\, \frac{i}{n}-F(X_{(i)})\Bigr\}$$

  $$= \max\limits_{i\in\{1,\ldots,n\}}\max\Bigl\{ X_{(i)}-\frac{i-1}{n}\,,\, \frac{i}{n}-X_{(i)}\Bigr\}$$

  $$\stackrel{{\rm d}}{=} \max\limits_{i\in\{1,\ldots,n\}}\max\Bigl\{ Y_{(i)}-\frac{i-1}{n}\,,\, \frac{i}{n}-Y_{(i)}\Bigr\}\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Für den Fall, dass $F$ stetig ist, ergibt sich aus (81) die folgende Integraldarstellung für die Verteilungsfunktion von $D_n$:
  $$P\Bigl(D_n\le\frac{1}{2n}+x\Bigr)=\left\{\begin{array}{ll} 0\,, ... ...\\ [3\jot] 1\,, & \mbox{falls $x\ge\frac{2n-1}{2n}$,} \end{array} \right.$$
  wobei
  $$g(y_1,\ldots,y_n)=\left\{\begin{array}{ll} n!\,, &\mbox{falls $0<y_1<\ldots<y_n<1$,}\\ 0\,, &\mbox{sonst.} \end{array} \right.$$

• Diese Integraldarstellung kann mit (nichtelementaren) kombinatorischen Überlegungen hergeleitet werden; vgl. beispielsweise das Buch von J.D. Gibbons und S. Chakrabarti (1992) Nonparametric Statistical Inference, 3rd ed., Marcel Dekker, New York.
• Für große $n$ kann man anstelle dieser Integraldarstellung eine (asymptotische) Näherungsformel zur Bestimmung der Verteilungsfunktion von $D_n$ verwenden.
• Und zwar kann man (ähnlich wie beim zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen; vgl. Theorem WR-5.16) zeigen, dass auch $D_n$ bei entsprechend gewählter Normierung gegen einen nichtdeterministischen, d.h. zufälligen Grenzwert (im Sinne der Verteilungskonvergenz) strebt.
• Dies ist die Aussage des folgenden Satzes von Kolmogorow.

Theorem 1.20   Falls die Verteilungsfunktion $F:\mathbb{R}\to[0,1]$ der Stichprobenvariablen $X_1,\ldots,X_n$ stetig ist, dann gilt für jedes $x\in\mathbb{R}$

$$\lim\limits_{n\to\infty}P\bigl(\sqrt{n}\,D_n\le x\bigr)= K(x)\,,$$ (82)

wobei

$$K(x)=\left\{\begin{array}{ll} 1-2\sum\limits_{k=1}^\infty (-1)^{... ...box{falls $x>0$,}\\ [3\jot] 0\,, & \mbox{falls $x\le 0$.} \end{array}\right.$$ (83)

Der Beweis von Theorem 1.20 ist tiefliegend und geht über den Rahmen dieser einführenden Vorlesung hinaus; vgl. beispielsweise Kapitel 13 in L. Breiman (1992), Probability, 2nd ed., SIAM, Philadelphia.

Beachte

 

• Wegen (82) ist klar, dass die in (83) gegebene Funktion $K:\mathbb{R}\to[0,1]$ die Eigenschaften einer Verteilungsfunktion hat.
• Für $n>40$ liefern (82) und (83) eine brauchbare Näherungsformel zur Bestimmung der Verteilungsfunktion von $D_n$:
  $$P(D_n\le x)\approx K(x\sqrt{n})\qquad\forall\, x>0\,.$$