Konfidenzband

In diesem Abschnitt nehmen wir an, dass die Designmatrix ${\mathbf{X}}$ die Form

$${\mathbf{X}}=\left(\begin{array}{cccc} 1 & x_{12} & \ldots & x_{1... ... \vdots & \vdots & & \vdots 1 & x_{n2} & \ldots & x_{nm} \end{array}\right)$$ (63)

hat, d.h., wir betrachten das (multiple) lineare Regressionsmodell.

• In der Definitionsgleichung (4) für die Regressionsfunktion $\varphi(x_1,\ldots,x_m)=\beta_1x_1+\ldots +\beta_mx_m$ setzen wir nun $x_1=1$ und bestimmen ein Konfidenzband für die Regressionshyperebene
  $$y=\varphi(1,x_2,\ldots,x_m)= \beta_1+\beta_2 x_2+\ldots+\beta_m x_m ,\qquad\forall x_2,\ldots,x_m\in\mathbb{R} .$$

• Dabei ist eine Zahl $a_\gamma>0$ gesucht, so dass mit der vorgegebenen (Überdeckungs-) Wahrscheinlichkeit $\gamma=1-\alpha\in(0,1)$

  $$\widehat\beta_1+\widehat\beta_2 x_2+\ldots+\widehat\beta_m x_m-a_... ...eta_1+\widehat\beta_2 x_2+\ldots+\widehat\beta_m x_m+a_\gamma Z_{\mathbf{x}} ,$$ (64)

  
  
  gleichzeitig für jedes ${\mathbf{x}}=(1,x_2,\ldots,x_m)\in\mathbb{R}^m$ gilt, wobei
  $$\widehat{\boldsymbol{\beta}}=({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top{\mathbf{Y}}$$   und$$\qquad Z_{\mathbf{x}}= S\sqrt{{\mathbf{x}}^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}} .$$

Bei der Lösung dieser Fragestellung ist das folgende Hilfsergebnis nützlich.

Lemma 2.4   $\;$ Mit Wahrscheinlichkeit $1$ gilt

$$\max\limits_{{\mathbf{x}}\in\mathbb{R}_1^{m-1}} \frac{\bigl(({\ma... ...hbf{X}}^\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }}) ,$$ (65)

wobei $\mathbb{R}_1^{m-1}$ die Menge aller derjenigen Vektoren ${\mathbf{x}}\in\mathbb{R}^m$ mit ${\mathbf{x}}=(1,x_2,\ldots,x_m)^\top$ bezeichnet.

Beweis

 

• Aus den Lemmata 1.6 und 1.8 folgt, dass $({\mathbf{X}}^\top{\mathbf{X}})^{-1}={\mathbf{H}}{\mathbf{H}}^\top$ für eine invertierbare $m\times m$ Matrix ${\mathbf{H}}$.
• Somit kann der Ausdruck
  $$({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathbf{X}}^... ...athbf{H}})^\top{\boldsymbol{\varepsilon }})^\top {\mathbf{H}}^\top{\mathbf{x}}$$
  als Skalarprodukt der $m$-dimensionalen Vektoren $({\mathbf{X}}{\mathbf{H}})^\top{\boldsymbol{\varepsilon }}$ und ${\mathbf{H}}^\top{\mathbf{x}}$ aufgefasst werden.
• Analog gilt
  $$({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathbf{X}}^... ...varepsilon }})^\top ({\mathbf{X}} {\mathbf{H}})^\top{\boldsymbol{\varepsilon }}$$   und$$\qquad {\mathbf{x}}^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1} {\mathbf{x}}=({\mathbf{H}}^\top{\mathbf{x}})^\top {\mathbf{H}}^\top{\mathbf{x}} .$$

• Hieraus und aus der Ungleichung

  $$\vert{\mathbf{y}}^\top{\mathbf{z}}\vert\le \sqrt{{\mathbf{y}}^\to... ...bf{z}}^\top{\mathbf{z}}}\qquad\forall\;{\mathbf{y}},{\mathbf{z}}\in\mathbb{R}^m$$ (66)

  
  
  ergibt sich mit ${\mathbf{y}}=({\mathbf{X}}{\mathbf{H}})^\top{\boldsymbol{\varepsilon }}$ und ${\mathbf{z}}={\mathbf{H}}^\top{\mathbf{x}}$, dass
  $$\bigl\vert({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\m... ...)}\;\sqrt{ {\mathbf{x}}^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}}$$
  bzw.

  $$\frac{\bigl(({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({... ...hbf{X}}^\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }}) .$$ (67)

  
  

• Weil der Zufallsvektor ${\boldsymbol{\varepsilon }}=(\varepsilon _1,\ldots,\varepsilon _n)^\top$ unabhängige absolutstetige Komponenten hat, gilt $\sum_{i=1}^n\varepsilon _i\not=0$ mit Wahrscheinlichkeit $1$.
• Sei nun $\sum_{i=1}^n\varepsilon _i\not=0$. Dann ergibt sich aus der in (63) betrachteten Form der Designmatrix ${\mathbf{X}}$, dass der Vektor ${\mathbf{x}}={\mathbf{X}}^\top{\boldsymbol{\varepsilon }}/\sum_{i=1}^n\varepsilon _i$ zu $\mathbb{R}_1^{m-1}$ gehört und dass dann in (67) die Gleichheit gilt.
  
  $\Box$

Aus dem folgenden Resultat, das eine vektorielle Verallgemeinerung von Theorem I-5.9 ist, ergibt sich das gesuchte Konfidenzband.

Theorem 2.12   $\;$ Sei $a_\gamma=\sqrt{m {\rm F}_{m,n-m,\gamma}}$. Dann gilt

$$\mathbb{P}_{\boldsymbol{\beta}}\Biggl(\max\limits_{{\mathbf{x}}\i... ...{\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}}\le a_\gamma^2\Biggr)=\gamma .$$ (68)

Beweis

 

• Für jedes ${\mathbf{x}}\in\mathbb{R}_1^{m-1}$ gilt
  

  $$\widehat{\boldsymbol{\beta}}^\top{\mathbf{x}}-\varphi({\mathbf{x}}) = \widehat{\boldsymbol{\beta}}^\top{\mathbf{x}}-{\boldsymbol{\beta}... ...ol{\varepsilon }}\bigr)^\top {\mathbf{x}}-{\boldsymbol{\beta}}^\top{\mathbf{x}}$$

  $$= ({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}$$

  
  
  und somit
  

  $$\max\limits_{{\mathbf{x}}\in\mathbb{R}_1^{m-1}} \frac{\bigl(\wide... ...bigr)^2}{S^2{\mathbf{x}}^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}} = \max\limits_{{\mathbf{x}}\in\mathbb{R}_1^{m-1}} \frac{\bigl(({\ma... ...}}\bigr)^2}{{\mathbf{x}}^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}}$$

  $$= \frac{({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathb... ...\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }}) }{S^2} \;,$$

  
  
  wobei sich die letzte Gleichheit aus Lemma 2.4 ergibt.
• Es gilt also

  $$\max\limits_{{\mathbf{x}}\in\mathbb{R}_1^{m-1}} \frac{\bigl(\wide... ...\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }}) }{S^2} \;.$$ (69)

  
  

• Weil ${\boldsymbol{\varepsilon }}\sim$ N $({\mathbf{o}},\sigma^2{\mathbf{I}})$ und weil
  $${\mathbf{X}}^\top \Bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\Bigr)={\bf0} ,$$
  ergibt sich aus Theorem 1.10, dass ${\mathbf{X}}^\top {\boldsymbol{\varepsilon }}$ und ${\boldsymbol{\varepsilon }}^\top \bigl({\mathbf{I}}-{\mathbf{X}}({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr){\boldsymbol{\varepsilon }}$ unabhängig sind.
• Aus der bereits im Beweis von Theorem 2.7 hergeleiteten Darstellungsformel
  $$S^2=\frac{1}{n-m}\;{\boldsymbol{\varepsilon }}^\top \bigl({\mathb... ...f{X}}^\top{\mathbf{X}})^{-1}{\mathbf{X}}^\top\bigr){\boldsymbol{\varepsilon }}$$
  ergibt sich somit, dass auch die Zufallsvariablen $({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})$ und $S^2$ unabhängig sind.
• In Theorem 2.7 hatten wir gezeigt, dass
  $$(n-m)S^2/\sigma^2\sim\chi^2_{n-m} .$$

• Außerdem ergibt sich aus Theorem 1.9, dass
  $$({\mathbf{X}}^\top{\boldsymbol{\varepsilon }})^\top({\mathbf{X}}^... ...})^{-1}({\mathbf{X}}^\top{\boldsymbol{\varepsilon }}) /\sigma^2\sim\chi^2_m ,$$
  weil die $m\times m$ (Kovarianz-) Matrix ${\mathbf{X}}^\top{\mathbf{X}}$ des normalverteilten Zufallsvektors ${\mathbf{X}}^\top {\boldsymbol{\varepsilon }}$ vollen Rang hat und weil die Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}({\mathbf{X}}^\top{\mathbf{X}})={\mathbf{I}}$ idempotent ist.
• Wegen (69) haben wir also insgesamt gezeigt, dass
  $$\frac{1}{m}\; \max\limits_{{\mathbf{x}}\in\mathbb{R}_1^{m-1}} \fr... ...\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}}\sim {\rm F}_{m,n-m} .$$

• Für den in (64) bzw. (68) betrachteten Schwellenwert ergibt sich deshalb $a_\gamma=\sqrt{m {\rm F}_{m,n-m,\gamma}}$.
  
  $\Box$