Konfidenzbereiche; Prognose von Zielvariablen

• Zur Erinnerung: In Abschnitt 2.2.3 hatten wir die Testgröße $T_j=(\widehat\beta_j-\beta_j)/(S\sqrt{x^{jj}})$ betrachtet, wobei $x^{ij}$ die $(i,j)$-te Eintragung der (inversen) Matrix $({\mathbf{X}}^\top{\mathbf{X}})^{-1}$ bezeichnet.
• Dabei hatten wir gezeigt, dass $T_j\sim$ t$_{n-m}$ für jedes $j\in\{1,\ldots,m\}$ gilt.
• Hieraus ergeben sich die folgenden Konfidenzintervalle zum Niveau $1-\alpha\in(0,1)$ für jeden einzelnen Regressionskoeffizienten $\beta_j$.
• Und zwar gilt jeweils mit Wahrscheinlichkeit $1-\alpha$

  $$\widehat\beta_j-{\rm t}_{n-m,1-\alpha/2}S\sqrt{x^{jj}}<\beta_j< \widehat\beta_j+{\rm t}_{n-m,1-\alpha/2}S\sqrt{x^{jj}} .$$ (59)

  
  

Beachte

 

• Auf die gleiche Weise wie im Beweis von Theorem I-5.8 ergibt sich mit Hilfe der Bonferroni-Ungleichung (vgl. Lemma I-5.4) ein gemeinsamer Konfidenzbereich zum Niveau $1-\alpha\in(0,1)$ für sämtliche $m$ Regressionskoeffizienten $\beta_1,\ldots,\beta_m$.
• Und zwar ist die Wahrscheinlichkeit, dass

  $$\widehat\beta_j-{\rm t}_{n-m,1-\alpha/2m}S\sqrt{x^{jj}}<\beta_j< \widehat\beta_j+{\rm t}_{n-m,1-\alpha/2m}S\sqrt{x^{jj}}$$ (60)

  
  
  gleichzeitig für jedes $j=1,\ldots,m$ gilt, mindestens gleich $1-\alpha$.
• Aus Theorem 2.10 ergibt sich außerdem ein exakter gemeinsamer Konfidenzbereich zum Niveau $1-\alpha$ für sämtliche $m$ Regressionskoeffizienten $\beta_1,\ldots,\beta_m$.
  • Denn es gilt (vgl. (47) - (48)), dass
    $$\mathbb{P}_{\boldsymbol{\beta}}\Bigl(\frac{(\widehat{\boldsymbol{... ...eta}}-{\boldsymbol{\beta}})}{mS^2}< {\rm F}_{m,n-m,1-\alpha}\Bigr)=1-\alpha .$$

  • Dabei stellt der Konfidenzbereich $E$ mit
    $$E=\Bigl\{{\boldsymbol{\beta}}=(\beta_1,\ldots,\beta_m): \frac{(... ...ldsymbol{\beta}}-{\boldsymbol{\beta}})}{mS^2}< {\rm F}_{m,n-m,1-\alpha}\Bigr\}$$
    einen (zufälligen) Ellipsoid dar mit dem Mittelpunkt $\widehat{\boldsymbol{\beta}}=(\widehat\beta_1,\ldots,\widehat\beta_m)$.
• Man kann zeigen, dass sich der Ellipsoid $E$ in einen $m$-dimensionalen achsenparallelen Quader $E^\prime\supset E$ einbetten lässt, wobei
  $$E^\prime=\prod_{j=1}^m\Bigl(\widehat\beta_j-S\sqrt{m x^{jj}{\rm F... ...-\alpha}}, \widehat\beta_j+S\sqrt{m x^{jj}{\rm F}_{m,n-m,1-\alpha}}\Bigr) .$$

• Der Konfidenzbereich $E^\prime$ hat eine einfachere Gestalt als $E$. Wegen $E^\prime\supset E$ ist $E^\prime$ jedoch eine ungenauere Schätzung als $E$.

Auf ähnliche Weise ergibt sich ein Konfidenzintervall für den erwarteten Zielwert

$$\varphi(x_{0,1},\ldots,x_{0,m})= \beta_1 x_{0,1}+\ldots+\beta_m x_{0,m} ,$$

der einem vorgegebenen Vektor ${\mathbf{x}}_0=(x_{0,1},\ldots,x_{0,m})^\top\in\mathbb{R}^m$ von Werten $x_{0,1},\ldots,x_{0,m}$ der $m$ Einflussfaktoren entspricht.

• Hierfür betrachten wir die $1\times m$ Matrix ${\mathbf{H}}=(x_{0,1},\ldots,x_{0,m})$ $(={\mathbf{x}}_0^\top)$.
• Dann ergibt sich aus Theorem 2.11, dass die Zufallsvariable
  $$\sqrt{T_{\mathbf{H}}}=\frac{\widehat{\boldsymbol{\beta}}^\top {\m... ...\sqrt{{\mathbf{x}}_0^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}_0}}$$
  t-verteilt ist mit $n-m$ Freiheitsgraden.
• Mit Wahrscheinlichkeit $1-\alpha$ gilt also

  $$\widehat{\boldsymbol{\beta}}^\top {\mathbf{x}}_0- Z_0< \varphi({\mathbf{x}}_0) < \widehat{\boldsymbol{\beta}}^\top {\mathbf{x}}_0+ Z_0 ,$$ (61)

  
  
  wobei
  $$Z_0= {\rm t}_{n-m,1-\alpha/2} S\sqrt{{\mathbf{x}}_0^\top({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}_0} .$$

Beachte

 

• Völlig analog ergibt sich ein Prognoseintervall für die Zielvariable $Y_0=\beta_1 x_{0,1}+\ldots+\beta_m x_{0,m}+\varepsilon _0$, wobei die Störgröße $\varepsilon _0$ normalverteilt und unabhängig von den Störgrößen $\varepsilon _1,\ldots,\varepsilon _n$ ist; $\varepsilon _0\sim {\rm N}(0,\sigma^2)$.
• Und zwar gilt $\widehat{\boldsymbol{\beta}}^\top {\mathbf{x}}_0-Y_0\sim{\rm N}\bigl(0,1+{\mathbf{x}}_0^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}_0\bigr)$ und somit mit Wahrscheinlichkeit $1-\alpha$

  $$\widehat{\boldsymbol{\beta}}^\top {\mathbf{x}}_0-Z_0^\prime< Y_0 < \widehat{\boldsymbol{\beta}}^\top {\mathbf{x}}_0+ Z_0^\prime ,$$ (62)

  
  
  wobei $Z_0^\prime= {\rm t}_{n-m,1-\alpha/2}S\sqrt{1+{\mathbf{x}}_0^\top ({\mathbf{X}}^\top{\mathbf{X}})^{-1}{\mathbf{x}}_0}$.