Simultane Konfidenzbereiche; Konfidenzbänder

• Auf ähnliche Weise wie in Theorem 2.6 kann man sogenannte simultane Konfidenzbereiche zum Niveau $\gamma\in(0,1)$ gleichzeitig für meherere erwartete Zielwerte $\alpha+\beta x_{0i}$, $i=1,\ldots,m$ herleiten, die vorgegebenen (Ausgangs-) Werten $x_{01},\ldots,x_{0m}\in\mathbb{R}$ entsprechen.
• Dabei ist erneut der Fall $x_{01},\ldots,x_{0m}\not\in\{x_1,\ldots,x_n\}$ von besonderem Interesse, d.h., wenn an den Stellen $x_{01},\ldots,x_{0m}$ keine Daten erhoben werden.

Hierfür ist die folgende Bonferroni-Ungleichung nützlich, vgl. auch Übungsaufgabe WR-1.5.

Lemma 2.4   $\;$ Für jede natürliche Zahl $m=1,2,\ldots$ und für beliebige Ereignisse $A_1,\ldots, A_m\in\mathcal{F}$ gilt

$$\mathbb{P}\Bigl(\bigcap\limits_{i=1}^m A_i\Bigr)\ge\sum\limits_{i=1}^m \mathbb{P}(A_i)-(m-1)\,.$$ (46)

Beweis

$\;$ Aus der Subadditivität von Wahrscheinlichkeitsmaßen (vgl. Theorem WR-2.2) ergibt sich, daß

$$\mathbb{P}\Bigl(\bigcap\limits_{i=1}^m A_i\Bigr) = 1-\mathbb{P}\Bigl(\bigcup\limits_{i=1}^m A_i^c\Bigr)$$

$$\ge 1-\sum\limits_{i=1}^m \mathbb{P}\bigl(A_i^c\bigr)$$

$$= \sum\limits_{i=1}^m \mathbb{P}(A_i)+1 -\sum\limits_{i=1}^m \bigl(\mathbb{P}(A_i)+\mathbb{P}\bigl(A_i^c\bigr)\bigr)$$

$$= \sum\limits_{i=1}^m \mathbb{P}(A_i)+1-m\,.$$

 
  $\Box$

Theorem 2.8   $\;$ Die Wahrscheinlichkeit, daß

$$\widehat\alpha+\widehat\beta x_{0i}-{\rm t}_{n-2,1-(1-\gamma)/(2m... ...ma)/(2m)}S\sqrt{\frac{1}{n}\,+\,\frac{(x_{0i}-\overline x_n)^2}{(n-1)s^2_{xx}}}$$ (47)

gleichzeitig für jedes $i=1,\ldots,m$ gilt, ist mindestens gleich $\gamma$.

Beweis

 

• Gemäß Teilaussage 2 von Theorem 2.6 ist die Wahrscheinlichkeit für jedes der $m$ Ereignisse $A_1,\ldots,A_m$ in (47) gegeben durch
  $$\gamma^\prime=1-\frac{1-\gamma}{m}\;.$$

• Aus Lemma 2.4 ergibt sich nun für die Wahrscheinlichkeit des Durchschnittes $A_1\cap\ldots\cap A_m$, daß
  

  $$\mathbb{P}\Bigl(\bigcap\limits_{i=1}^m A_i\Bigr) \ge \sum\limits_{i=1}^m \mathbb{P}(A_i)-(m-1)$$

  $$= m\Bigl(1-\frac{1-\gamma}{m}\Bigr)-(m-1)$$

  $$= \gamma\,.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Das kartesische Produkt der $m$ Intervalle in (47) heißt simultaner Konfidenzbereich für den Vektor $(\alpha+\beta x_{01},\ldots,\alpha+\beta x_{0m})$.
• Wir können noch einen Schritt weiter gehen als in Theorem 2.8 und fragen, ob es eine Zahl $a_\gamma>0$ gibt, so daß die Wahrscheinlichkeit mindestens gleich $\gamma$ ist, daß

  $$\widehat\alpha+\widehat\beta x-a_\gamma S\sqrt{\frac{1}{n}\,+\,\f... ...ta x+a_\gamma S\sqrt{\frac{1}{n}\,+\,\frac{(x-\overline x_n)^2}{(n-1)s^2_{xx}}}$$ (48)

  
  
  gleichzeitig für jedes $x\in\mathbb{R}$ gilt.
• Die Menge $B_\gamma\subset\mathbb{R}^2$ mit

  $$B_\gamma=\Biggl\{(x,y)\in\mathbb{R}^2:\,\widehat\alpha+\widehat\b... ...gamma S\sqrt{\frac{1}{n}\,+\,\frac{(x-\overline x_n)^2}{(n-1)s^2_{xx}}}\Biggl\}$$ (49)

  
  
  heißt dann Konfidenzband zum Niveau $\gamma$ für die Regressionsgerade $y=\alpha+\beta x$.

Bei der Lösung dieser Fragestellung ist die Klasse der F-Verteilungen nützlich, vgl. Abschnitt I.3.1.3.

• Zur Erinnerung: Seien $r,s\ge 1$ beliebige natürliche Zahlen, und seien $U_r,\, U_s^\prime:\Omega\to(0,\infty)$ unabhängige $\chi ^2$-verteilte Zufallsvariablen mit $U_r\sim\chi_r^2$ und $U_s^\prime\sim\chi_s^2$.
• Man sagt dann, daß die Zufallsvariable
  $$W_{r,s}= \frac{U_r/r}{U_s^\prime/s}$$
  F-verteilt ist mit $(r,s)$ Freiheitsgraden. (Schreibweise: $W_{r,s}\sim$ F$_{r,s}$)

Außerdem ist der folgende Hilfssatz nützlich.

Lemma 2.5   $\;$ Seien $a,b,c,d\in\mathbb{R}$ beliebige reelle Zahlen mit $a\not=0$, $c>0$ und $d>0$. Dann gilt

$$\max\limits_{x\in\mathbb{R}}\;\frac{(a+bx)^2}{c+dx^2}=\frac{a^2}{c}\,+\,\frac{b^2}{d}\;.$$ (50)

.

Beweis

 

• Die Behauptung gilt genau dann, wenn für alle $x\in\mathbb{R}$
  $$(a+bx)^2\le a^2+\,\frac{a^2dx^2}{c}\,+\,b^2x^2\,+\,\frac{cb^2}{d}$$
  und wenn es ein $x\in\mathbb{R}$ gibt, so daß beide Seiten dieser Ungleichung übereinstimmen.
• Die Ungleichung gilt genau dann, wenn
  $$2abx\le \frac{a^2dx^2}{c}\,+\,\frac{cb^2}{d}$$   bzw.$$\qquad 2abcdx\le (adx)^2+(cb)^2\,.$$

• Die letzte Ungleichung ist offenbar richtig, und für $x=cb/(ad)$ gilt die Gleichheit.
  
  $\Box$

Theorem 2.9   $\;$ Sei $a_\gamma=\sqrt{2\,{\rm F}_{2,n-2,\gamma}}$. Dann ist durch die in $(\ref{kon.sim.ban})$ definierte Menge $B_\gamma\subset\mathbb{R}^2$ ein Konfidenzband zum Niveau $\gamma$ für die Regressionsgerade $y=\alpha+\beta x$ gegeben.

Beweis

 

• Die Behauptung ist bewiesen, wenn wir zeigen, daß
  $$\mathbb{P}\Biggl(\frac{\bigl((\widehat\alpha+\widehat\beta x)-(\... ...x}}\Bigr)}\;\le\,a_\gamma^2\;\mbox{für jedes $x\in\mathbb{R}$}\Biggr)=\gamma$$
  bzw.

  $$\mathbb{P}\Biggl(\max\limits_{x\in\mathbb{R}}\;\frac{\bigl((\wide... ...ac{(x-\overline x_n)^2}{(n-1)s^2_{xx}}\Bigr)}\;\le\,a_\gamma^2\Biggr)=\gamma\,.$$ (51)

  
  

• Aus (16) ergibt sich, daß $\widehat\alpha+\widehat\beta x = \overline Y_n+\widehat\beta (x-\overline x_n)$. Weil $\widehat\alpha$ und $\widehat\beta$ erwartungstreue Schätzer für $\alpha$ bzw. $\beta$ sind, gilt außerdem, daß $\alpha+\beta x = {\mathbb{E}\,}\overline Y_n+\beta (x-\overline x_n)$.
• Wir führen deshalb die gleiche Skalenverschiebung durch, die wir bereits im Beweis von Theorem 2.5 betrachtet haben:
  $$x_i^\prime=x_i-\overline x_n\,,\qquad\forall\, i=1,\ldots,n\,,$$
  d.h. wir nehmen (o.B.d.A.) an, daß $\overline x_n=0$.
• Mit anderen Worten: Anstelle (51) zeigen wir, daß es eine Zahl $a_\gamma>0$ gibt, so daß
  $$\mathbb{P}\Biggl(\max\limits_{x\in\mathbb{R}}\;\frac{\bigl((\over... ...}{n}\,+\, \frac{x^2}{(n-1)s^2_{xx}}\Bigr)}\;\le\,a_\gamma^2\Biggr)=\gamma\,.$$

• Weil $S^2$ nicht von $x$ abhängt, ergibt sich aus Lemma 2.5, daß
  

  $$\max\limits_{x\in\mathbb{R}}\;\frac{\bigl((\overline Y_n-{\mathbb... ...igr)^2}{S^2\Bigl(\displaystyle\frac{1}{n}\,+\, \frac{x^2}{(n-1)s^2_{xx}}\Bigr)} = \frac{n\bigl(\overline Y_n-{\mathbb{E}\,}\overline Y_n \bigr)^2+(n-1)s^2_{xx}\bigl(\widehat\beta-\beta\bigr)^2}{S^2}$$

  $$= \frac{\displaystyle \frac{\bigl(\overline Y_n-{\mathbb{E}\,}\over... ...\bigl(\widehat\beta -\beta\bigr)^2}{\sigma^2/((n-1)s^2_{xx})}}{S^2/\sigma^2}\;.$$

  
  

• Weil $\overline x_n=0$ und weil demzufolge $\overline Y_n=\widehat\alpha$ gilt, ergibt sich aus Theorem 2.5, daß die Zufallsvariablen $\overline Y_n$ und $\widehat\beta$ normalverteilt und unkorreliert (und somit gemäß Teilaussage 2 von Lemma 2.3 auch unabhängig) sind, vgl. auch Übungsaufgabe 2.3.
• Der Zähler des letzten Quotienten ist also die Summe der Quadrate von zwei unabhängigen N$(0,1)$-verteilten Zufallsvariablen, d.h., der Zähler ist $\chi^2_2$-verteilt.
• Außerdem ergibt sich aus Theorem 2.5, daß Zähler und Nenner unabhängig sind und daß $(n-2)S^2/\sigma^2\sim\chi^2_{n-2}$.
• Hieraus und aus der Definition der F-Verteilung folgt, daß (51) gilt, falls
  $$\frac{a_\gamma^2}{2}=\,{\rm F}_{2,n-2,\gamma}\,.$$
  
   
    $\Box$
  
  
  

Beachte

 

• Es gilt t $_{n-2,1-(1-\gamma)/(2m)}>\sqrt{2\,{\rm F}_{2,n-2,\gamma}}$ für jedes hinreichend große $m$, vgl. Übungsaufgabe 3.3a.
• Hieraus folgt, daß der simultane Konfidenzbereich, der in Theorem 2.8 mit Hilfe der Bonferroni-Ungleichung (46) hergeleitet worden ist, für große $m$ größer ist als der simultane Konfidenzbereich, der sich aus dem in Theorem 2.9 konstruierten Konfidenzband ergibt.
• Auf den ersten Blick scheint dies ein Widerspruch zu sein, weil in Theorem 2.9 die Überdeckungseigenschaft für alle $x\in\mathbb{R}$ gefordert wird, während diese Eigenschaft in Theorem 2.8 nur für endlich viele Ausgangswerte $x_{01},\ldots,x_{0m}$ betrachtet wird.
• Der Grund, daß Theorem 2.9 für große $m$ zu kleineren (d.h. besseren) simultanen Konfidenzbereichen führt, besteht darin, daß die Bonferroni-Ungleichung (46) für große $m$ nur eine sehr ungenaue untere Schranke für die Wahrscheinlichkeit $\mathbb{P}\Bigl(\bigcap_{i=1}^m A_i\Bigr)$ liefert.