Kleinste-Quadrate-Schätzer bei zwei Einflussfaktoren

• In diesem Abschnitt diskutieren wir zunächst den Spezialfall von zwei Einflussfaktoren, d.h. $m=3$ und $n\ge 3$, wobei die Modellparameter $\beta_1,\beta_2,\beta_3$ und $\sigma^2$ erneut mit der Methode der kleinsten Quadrate geschätzt werden.

• Dabei ergeben sich Kleinste-Quadrate-Schätzer für $\beta_1,\beta_2,\beta_3$ durch Mnimierung des mittleren quadratischen Fehlers

  $$e(\beta_1,\beta_2,\beta_3)=\frac{1}{n}\sum\limits_{i=1}^n\bigl(y_i-(\beta_1+\beta_2 x_{i2}+\beta_3 x_{i3})\bigr)^2$$ (56)

  
  
  bzw. durch partielle Differentiation der Funktion $e(\beta_1,\beta_2,\beta_3)$ nach den Variablen $\beta_1$, $\beta_2$ bzw. $\beta_3$ und durch anschließendes Nullsetzen der Ableitungen.

• Hieraus folgt, dass die Kleinste-Quadrate-Schätzer $\widehat\beta_1,\widehat\beta_2,\widehat\beta_3$ für $\beta_1,\beta_2,\beta_3$ den Normalengleichungen
  

  $$n\widehat\beta_1+\widehat\beta_2\sum\limits_{i=1}^n x_{i2}+\widehat\beta_3\sum\limits_{i=1}^n x_{i3} = \sum\limits_{i=1}^n Y_i\,,$$

  $$\widehat\beta_1\sum\limits_{i=1}^n x_{i2}+\widehat\beta_2\sum\limits_{i=1}^n x_{i2}^2+\widehat\beta_3\sum\limits_{i=1}^n x_{i2}x_{i3} = \sum\limits_{i=1}^n x_{i2}Y_i\,,$$

  $$\widehat\beta_1\sum\limits_{i=1}^n x_{i3}+\widehat\beta_2\sum\limits_{i=1}^n x_{i2}x_{i3}+\widehat\beta_3\sum\limits_{i=1}^n x_{i3}^2 = \sum\limits_{i=1}^n x_{i3}Y_i$$

  
  
  genügen müssen, deren Lösung gegeben ist durch
  

  $$\widehat\beta_1 = \overline Y-\overline x_{\cdot 2}\widehat\beta_2-\overline x_{\cdot 3}\widehat\beta_3\,,$$

  $$\widehat\beta_2 = \sum\limits_{i=1}^n\;\frac{c_{33}\bigl(x_{i2}-\overline x_{\cdot ... ..._{23}\bigl(x_{i3}-\overline x_{\cdot 3}\bigr)}{c_{22} c_{33}-c_{23}^2}\; Y_i\,,$$ (57)

  $$\widehat\beta_3 = \sum\limits_{i=1}^n\;\frac{c_{22}\bigl(x_{i3}-\overline x_{\cdot ... ..._{23}\bigl(x_{i2}-\overline x_{\cdot 2}\bigr)}{c_{22} c_{33}-c_{23}^2}\; Y_i\,,$$

  
  
  • wobei $\overline Y=\sum_{i=1}^n\ Y_i/n$ bzw. $\overline x_{\cdot j}=\sum_{i=1}^n x_{ij}/n$ für $j=2,3$ und

    $$c_{j_1j_2}=\sum\limits_{i=1}^n \bigl(x_{ij_1}-\overline x_{\cdot j_1}\bigr)\bigl(x_{ij_2}-\overline x_{\cdot j_2}\bigr) \mbox{für $j_1,j_2=2,3$}$$ (58)

    
    

  • und wobei vorausgesetzt wird, dass

    $$c_{22}c_{33}-c_{23}^2>0\,.$$ (59)

    
    

• Beachte 
  • Die Bedingung (59) ist gleichbedeutend damit, dass die Designmatrix
    $${\mathbf{X}}=\left(\begin{array}{ccc} 1 & x_{12} & x_{13}\\ \vdots & \vdots & \vdots\\ 1 & x_{n2} & x_{n3} \end{array}\right)$$
    vollen Spaltenrang ${\rm rg\,}({\mathbf{X}})=3$ hat, d.h., dass $\det{\mathbf{X}}\not=0$ bzw. dass ${\mathbf{X}}$ aus drei linear unabhängigen Spaltenvektoren besteht.
  • Man kann zeigen, dass die Kleinste-Quadrate-Schätzer $\widehat\beta_1,\widehat\beta_2,\widehat\beta_3$ für $\beta_1,\beta_2,\beta_3$ erwartungstreu sind, d.h., es gilt

    $${\mathbb{E}\,}\widehat\beta_1=\beta_1\,,\qquad{\mathbb{E}\,}\widehat\beta_2=\beta_2\,,\qquad{\mathbb{E}\,}\widehat\beta_3=\beta_3\,.$$ (60)

    
    

  • Die (zufällige) Abbildung $\widehat Y:\mathbb{R}^2\to\mathbb{R}$ mit

    $$\widehat Y(x_2,x_3)=\widehat\beta_1+\widehat\beta_2 x_2+\widehat\beta_3 x_3\,,$$ (61)

    
    
    die jedem Wertepaar $(x_1,x_2)$ der beiden Einflussfaktoren die Zufallsvariable $\widehat Y(x_1,x_2)$ zuordnet, heißt empirische Regressionsebene.
  • Außerdem kann man zeigen, dass die ,,Reststreueung'' $S^2$ um die empirische Regressionsebene, die gegeben ist durch

    $$S^2=\frac{1}{n-3}\;\sum\limits_{i=1}^n \Bigl(Y_i-\widehat\beta_1+\widehat\beta_2 x_{i2}+\widehat\beta_3 x_{i3}\Bigr)^2\,,$$ (62)

    
    
    ein erwartungstreuer Schätzer für $\sigma^2$ ist, d.h., es gilt ${\mathbb{E}\,}S^2=\sigma^2$.

• Beispiel $\;$ (vgl. R. Storm (2001) Wahrscheinlichkeitsrechnung, mathematische Statistik und statistische $\left.\hspace{5.3cm}\right.$ Qualitätskontrolle, Fachbuchverlag Leipzig, S. 260 ff.)
  • In einem Unternehmen der Metallindustrie soll untersucht werden, inwiefern die Güte eines Erzeugnisses von zwei technologischen (Einfluss-) Faktoren des Produktionsprozesses abhängt.
  • Dabei wird die Stahlproduktion eines Stahlwerkes betrachtet, wobei die Stahlausbeute (Zielvariable, gemessen in Prozent) in Abhängigkeit von der Anzahl der bisher erfolgten Abstiche (1.Einflussfaktor) und dem Schwefelgehalt (2. Einflussfaktor, gemessen in Prozent) untersucht wird.
  • Die Qualitätskennzahl ,,Stahlausbeute'' wurde für 26 Proben des Erzeugnisses bestimmt, wobei für die technologischen Einflussfaktoren ,,Anzahl der Abstiche'' bzw. ,,Schwefelgehalt'' jeweils unterschiedliche (Ausgangs-) Werte beobachtet wurden:

    Nummer der Probe	1	2	3	4	5	6	7	8	9	10	11	12	13
    Wert des 1. Faktors $(x_{i2})$	53	34	39	39	28	39	39	15	19	27	23	24	25
    Wert des 2. Faktors $(x_{i3})$	8	8	7	9	9	8	9	12	12	8	8	8	8
    Qualitätskennzahl $(y_i)$	19	70	0	77	85	70	0	100	78	78	98	59	87
    Nummer der Probe	14	15	16	17	18	19	20	21	22	23	24	25	26
    Wert des 1. Faktors $(x_{i2})$	27	9	37	20	23	11	10	13	45	6	7	15	22
    Wert des 2. Faktors $(x_{i3})$	8	7	25	10	9	7	9	8	13	12	7	12	11
    Qualitätskennzahl $(y_i)$	70	100	42	96	76	82	100	97	68	92	95	96	91

  • Aus diesen Daten ergeben sich die folgenden Werte für die Größen, die in den Definitionsgleichungen (57) der Schätzer $\widehat\beta_1,\widehat\beta_2,\widehat\beta_3$ vorkommen:
    $$\overline x_{\cdot 2}=24.96\,,\quad \overline x_{\cdot 3}=9.69\,,... ...\overline y=74.08\,,\quad c_{22}=3995\,,\quad c_{33}=326\,,\quad c_{23}=155\,.$$

  • Durch Einsetzen der ermittelten Werte in (57) ergibt sich nun, dass
    $$\widehat\beta_1=114.972\,,\qquad\widehat\beta_2=-1.695\,,\qquad\widehat\beta_3=0.146\,.$$

  • Somit erhalten wir die geschätzte Regressionsebene $\widehat y(x_2,x_3)=114.972-1.695 x_2+ 0.146 x_3$:
    

    
    

  • Für die in (62) betrachtete Restreueung $S^2$ ergibt sich schließlich der Schätzwert $S^2=411.09$ bzw. $S=20.28$.