Tschebyschew-Ungleichung; Markow-Ungleichung

• In vielen Fällen lässt sich die Wahrscheinlichkeit $P(A)$ von interessierenden Ereignissen $A\in\mathcal{F}$ nicht in geschlossenen Formeln ausdrücken.
• Manchmal ist es jedoch möglich, Ungleichungen herzuleiten, um (obere) Schranken, d.h. Abschätzungen für $P(A)$ zu erhalten.
• In diesem Abschnitt wird die sogenannte Tschebyschew-Ungleichung und, in Verallgemeinerung hiervon, die Markow-Ungleichung diskutiert.
• Sie liefern obere Schranken für die Wahrscheinlichkeit, dass die Abweichungen $\vert X(\omega)-{\mathbb{E}\,}X\vert$ der Werte $X(\omega)$ einer Zufallsvariablen $X$ von ihrem Erwartungswert ${\mathbb{E}\,}X$ einen vorgegebenen Schwellenwert $\varepsilon>0$ überschreiten.

Theorem 4.18   (Tschebyschew-Ungleichung) $\;$ Sei $X:\Omega\to\mathbb{R}$ eine Zufallsvariable mit

$${\mathbb{E}\,}(X^2)<\infty\,.$$

Dann gilt für jedes $\varepsilon>0$

$$P(\vert X-{\mathbb{E}\,}X\vert>\varepsilon)\leq \frac{{\rm Var\,}X}{\varepsilon^2}\;.$$ (72)

Beweis

 

• Aus den Linearitäts- bzw. Monotonie-Eigenschaften des Erwartungswertes (vgl. Theorem 4.4) ergibt sich, dass für jedes $\varepsilon>0$
  

  $${\rm Var\,}X = {\mathbb{E}\,}\bigl((X-{\mathbb{E}\,}X)^2\bigr)$$

  $$= {\mathbb{E}\,}\bigl((X-{\mathbb{E}\,}X)^2({1\hspace{-1mm}{\rm I}}... ...1\hspace{-1mm}{\rm I}}_{\{\vert X-{\mathbb{E}\,}X\vert\le\varepsilon\}} )\bigr)$$

  $$= {\mathbb{E}\,}\bigl((X-{\mathbb{E}\,}X)^2{1\hspace{-1mm}{\rm I}}_... ...{1\hspace{-1mm}{\rm I}}_{\{\vert X-{\mathbb{E}\,}X\vert\le\varepsilon\}} \bigr)$$

  $$\ge {\mathbb{E}\,}\bigl((X-{\mathbb{E}\,}X)^2{1\hspace{-1mm}{\rm I}}_{\{\vert X-{\mathbb{E}\,} X\vert>\varepsilon\}}\bigr)$$

  $$\ge {\mathbb{E}\,}\bigl(\varepsilon^2{1\hspace{-1mm}{\rm I}}_{\{\vert... ...bb{E}\,}{1\hspace{-1mm}{\rm I}}_{\{\vert X-{\mathbb{E}\,} X\vert>\varepsilon\}}$$

  $$= \varepsilon^2 \,P(\vert X-{\mathbb{E}\,}X\vert>\varepsilon) \,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Sei $X:\Omega\to\mathbb{R}$ eine Zufallsvariable mit ${\mathbb{E}\,}(\vert X\vert^r)<\infty$ für ein $r\ge 1$. Dann lässt sich genauso wie im Beweis von Theorem 4.18 zeigen, dass für jedes $\varepsilon>0$ die sogenannte Markow-Ungleichung gilt:

  $$P(\vert X\vert>\varepsilon)\leq \frac{{\mathbb{E}\,}(\vert X\vert^r)}{\varepsilon^r}\;.$$ (73)

  
  

• Die Tschebyschew-Ungleichung (72) bzw. die Markow-Ungleichung (73) sind nicht an spezielle Annahmen über die Form der Verteilung der Zufallsvariablen $X$ gebunden.
• Der ,,Preis'' hierfür ist, dass (72) und (73) in vielen Fällen zu relativ groben Abschätzungen führen.
• Wenn zusätzliche Annahmen über die Verteilung von $X$ gemacht werden, dann lassen sich genauere Abschätzungen herleiten bzw. die Wahrscheinlichkeit $P(\vert X-{\mathbb{E}\,}X\vert>\varepsilon)$ lässt sich explizit bestimmen.

Beispiele

 

1. fehlerbehaftete Messungen 
   • Von einem Messgerät sei bekannt, dass die Messergebnisse fehlerbehaftet sind.
   • Die $n$-te Messung einer (unbekannten) Größe $\mu\in\mathbb{R}$ liefere den Wert $\mu+X_n(\omega)$ für $\omega \in \Omega$.
   • Die Messfehler $X_1,X_2,\ldots$ seien unabhängige und identisch verteilte Zufallsvariablen.
   • Über die Verteilung von $X_n$ sei lediglich bekannt, dass

     $${\mathbb{E}\,}X_n=0 \qquad {\rm Var\,}X_n= 1\,.$$ (74)

     
     

   • Es soll nun die Frage diskutiert werden, wieviele Messungen erforderlich sind, um mit Hilfe der Tschebyschew-Ungleichung (72) schlussfolgern zu können, dass das arithmetische Mittel
     $$Y_n=\frac{1}{n}\sum\limits _{i=1}^n(\mu+X_i)$$
     der zufälligen Messwerte $\mu+X_i$ höchstens mit Wahrscheinlichkeit $0.1$ um mehr als $1$ vom ,,wahren'', jedoch unbekannten Wert $\mu$ abweicht.
   • Aus den elementaren Eigenschaften von Erwartungswert und Varianz der Summe von $n$ unabhängigen Zufallsvariablen ergibt sich (vgl. Korollar 4.2 bzw. die Theoreme 4.6 und 4.10), dass
     

     $${\mathbb{E}\,}Y_n = {\mathbb{E}\,}\frac{1}{n}\sum\limits _{i=1}^n(\mu+X_i)$$

     $$= \frac{1}{n}\sum\limits _{i=1}^n(\mu+{\mathbb{E}\,}X_i)= \mu$$

     
     
     und
     

     $${\rm Var\,}Y_n = {\rm Var\,}\frac{1}{n}\sum\limits _{i=1}^n(\mu+X_i)$$

     $$= \frac{1}{n^2}\sum\limits _{i=1}^n{\rm Var\,}(\mu+ X_i)$$

     $$= \frac{1}{n^2}\sum\limits _{i=1}^n{\rm Var\,}X_i=\frac{1}{n}\,.$$

     
     

   • Hieraus und aus der Tschebyschew-Ungleichung (72) ergibt sich, dass
     $$P(\vert Y_n-\mu\vert>1) \le \frac{1}{n}\;.$$

   • Es gilt also $P(\vert Y_n-\mu\vert>1)\le 0.1$, falls $n^{-1}\le 0.1$.
   • Aus diesen Überlegungen folgt, dass die obengenannten Genauigkeitsvorgaben erfüllt sind, falls $n\ge 10$ Messungen durchgeführt werden.

   
   

2. normalverteilte Messfehler
   • Es wird nun zusätzlich angenommen, dass die Messfehler normalverteilt sind, d.h. $X_n\sim$ N$(0,\, 1)$.
   • Man kann zeigen, dass dann $Y_n\sim$ N $(\mu,\, 1/n)$ bzw. $\sqrt{n}(Y_n-\mu)\sim$ N$(0,1)$, vgl. das Beispiel in Abschnitt 3.4.2 bzw. den Kommentar nach Korollar 3.2.
   • Es gilt also
     

     $$P(\vert Y_n-\mu\vert>1) = P(\sqrt{n}\,\vert Y_n-\mu\vert>\sqrt{n})$$

     $$= P(\sqrt{n}\,(Y_n-\mu)<-\sqrt{n})+ P(\sqrt{n}\,(Y_n-\mu)>\sqrt{n})$$

     $$= \Phi(-\sqrt{n})+(1-\Phi(\sqrt{n}))$$

     $$= 2 \bigl(1-\Phi(\sqrt{n})\bigr)\,,$$

     
     
     wobei

     $$\Phi(x)=\int\limits _{-\infty}^x\frac{1}{\sqrt{2\pi}}\exp\Bigl(-\frac{u^2}{2}\Bigr) \, du$$ (75)

     
     
     die Verteilungsfunktion der Standardnormalverteilung ist.
   • Somit ist $P(\vert Y_n-\mu\vert>1)\le 0.1$ genau dann erfüllt, wenn $\Phi(\sqrt{n})\ge 0.95$.
   • Dies gilt dann, wenn $\sqrt{n}\ge 1.645$ bzw. $n\ge 3$.

Beachte

 

• Es gibt keine geschlossene Formel für die Stammfunktion des Integrals in (75).
• Die Werte $\Phi(x)$ der Verteilungsfunktion der Standardnormalverteilung müssen deshalb numerisch berechnet werden.
• Für $x\ge 0$ sind die Werte $\Phi(x)$ in Tabelle 1 gegeben.
• Für $x<0$ erhält man $\Phi(x)$ dann aus der folgenden Symmetrieeigenschaft, die sich unmittelbar aus der Definitionsgleichung (75) ergibt.
• Für jedes $x\in\mathbb{R}$ gilt

  $$\Phi(x)=1-\Phi(-x)\,.$$ (76)