Stichprobenvarianz

Wir untersuchen nun die Frage, wie die Varianz $\sigma^2={\rm Var\,}X_i$ der Stichprobenvariablen $X_1,\ldots,X_n$ aus den beobachteten Daten $x_1,\ldots,x_n$ bestimmt werden kann. Dabei gehen wir ähnlich wie in Abschnitt 1.2.1 vor.

• Wir betrachten die Stichprobenfunktion $\varphi:\mathbb{R}^n\to\mathbb{R}$ mit

  $$\varphi(x_1,\ldots,x_n)=\frac{1}{n-1}\sum\limits_{i=1}^n (x_i-\overline x_n)^2\,,$$ (8)

  
  
  wobei $\overline x_n$ in (1) gegeben ist.
• Die in (8) eingeführte Größe wird Stichprobenvarianz der (konkreten) Stichprobe $(x_1,\ldots,x_n)$ genannt und mit $s_n^2$ bezeichnet.

Definition

$\;$ Die Zufallsvariable

$$S_n^2=\frac{1}{n-1}\sum\limits_{i=1}^n (X_i-\overline X_n)^2\,,$$ (9)

heißt Stichprobenvarianz der Zufallsstichprobe $(X_1,\ldots,X_n)$.

Der Erwartungswert und die Varianz von $S_n^2$ lassen sich wie folgt darstellen.

Theorem 1.3   Es gilt

$${\mathbb{E}\,}(S_n^2)=\sigma^2\,.$$ (10)

Falls ${\mathbb{E}\,}(X_i^4)<\infty$ für $i=1,\ldots,n$, dann gilt außerdem

$${\rm Var\,} (S_n^2)=\frac{1}{n}\Bigl(\mu^\prime_4-\frac{n-3}{n-1}\;\sigma^4\Bigr)\;,$$ (11)

wobei $\mu^\prime_4={\mathbb{E}\,}\bigl((X_i-\mu)^4\bigr)$ und $\sigma^4=({\rm Var\,}X_i)^2$ das $4$-te zentrale Moment bzw. die quadrierte Varianz der Stichprobenvariablen $X_1,\ldots,X_n$ bezeichnen.

Beweis

 

• Aus der Definitionsgleichung (9) von $S_n^2$ ergibt sich, dass
  

  $$S_n^2 = \frac{1}{n-1}\sum\limits_{i=1}^n (X_i-\overline X_n)^2$$

  $$= \frac{1}{n-1}\sum\limits_{i=1}^n \Bigl((X_i-\mu)- \frac{1}{n}\sum\limits_{j=1}^n (X_j-\mu)\Bigr)^2$$

  $$= \frac{1}{n-1}\sum\limits_{i=1}^n (X^\prime_i-\overline{X^\prime_n})^2\,,$$

  
  
  d.h.,

  $$S_n^2=\frac{1}{n-1}\sum\limits_{i=1}^n (X^\prime_i-\overline{X^\prime_n})^2\,,$$ (12)

  
  
  wobei $X^\prime_i=X_i-\mu$ mit ${\mathbb{E}\,}X_i^\prime=0$.
• Weil die Formel (12) die gleiche Form hat wie die Definitionsgleichung (9) von $S_n^2$, können (und werden) wir o.B.d.A. voraussetzen, dass

  $${\mathbb{E}\,}X_i=0\,.$$ (13)

  
  

• Hieraus folgt insbesondere, dass

  $${\mathbb{E}\,}\overline X_n=0\,.$$ (14)

  
  

• Außerdem ergibt sich aus der Definitionsgleichung (9) von $S_n^2$, dass
  

  $$S_n^2 = \frac{1}{n-1}\sum\limits_{i=1}^n (X_i-\overline X_n)^2$$

  $$= \frac{1}{n-1}\sum\limits_{i=1}^n (X_i^2-2X_i\overline X_n+\overline X_n^2)$$

  $$= \frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n X_i^2-n\overline X_n^2\Bigr)\,,$$

  
  
  d.h.,

  $$S_n^2=\frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n X_i^2-n\overline X_n^2\Bigr)\,.$$ (15)

  
  

• Wegen der Linearität des Erwartungswertes ergibt sich somit bei Berücksichtigung von (13) und (14), dass
  

  $${\mathbb{E}\,}S_n^2 = \frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n {\mathbb{E}\,}(X_i^2)-n{\mathbb{E}\,}(\overline X_n^2)\Bigr)$$

  $$= \frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n {\rm Var\,}X_i -n{\rm Var\,}\overline X_n \Bigr)$$

  $$= \frac{1}{n-1}\Bigl(n \sigma^2 -n\; \frac{\sigma^2}{n}\Bigr)= \sigma^2\,,$$

  
  
  wobei sich die vorletzte Gleichheit aus (4) ergibt.
• Damit ist (10) bewiesen.
• Um die Gültigkeit von (11) zu zeigen, berechnen wir zunächst den Erwartungswert ${\mathbb{E}\,}(S_n^4)$ der quadrierten Stichprobenvarianz $S_n^4=(S_n^2)^2$.
• Durch Quadrierung beider Seiten von (15) ergibt sich, dass
  $$(n-1)^2 S_n^4 = \Bigl(\sum\limits_{i=1}^n X_i^2-n\overline X_n^2... ...^2\Bigr)^2-2n\overline X_n^2\sum\limits_{i=1}^n X_i^2 +n^2\overline X_n^4\,.$$

• Für den Erwartungswert des ersten Summanden dieser Summe gilt
  

  $${\mathbb{E}\,}\Bigl(\Bigl(\sum\limits_{i=1}^n X_i^2\Bigr)^2\Bigr) = {\mathbb{E}\,} \Bigl(\sum\limits_{i=1}^n X_i^2\sum\limits_{j=1}^n X_j^2\Bigr)$$

  $$= {\mathbb{E}\,}\Bigl(\sum_{i=1}^n X_i^4 + \sum\limits_{i\not= j} X_i^2X_j^2\Bigr)$$

  $$= \sum_{i=1}^n {\mathbb{E}\,}(X_i^4) + \sum\limits_{i\not= j} {\mathbb{E}\,}(X_i^2X_j^2)$$

  $$= \sum_{i=1}^n {\mathbb{E}\,}(X_i^4) + \sum\limits_{i\not= j} {\mathbb{E}\,}(X_i^2){\mathbb{E}\,}(X_j^2)$$

  $$= n\mu_4+n(n-1)\sigma^4\,,$$

  
  
  d.h.,

  $${\mathbb{E}\,}\Bigl(\Bigl(\sum\limits_{i=1}^n X_i^2\Bigr)^2\Bigr)=n\mu_4+n(n-1)\sigma^4\,.$$ (16)

  
  

• Für den Erwartungswert des zweiten Summanden gilt
  

  $${\mathbb{E}\,}\Bigl(\overline X_n^2\sum\limits_{i=1}^n X_i^2\Bigr) = {\mathbb{E}\,}\Bigl(\Bigl(\frac{1}{n}\;\sum\limits_{i=1}^n X_i\Bigr)^2 \sum\limits_{j=1}^n X_j^2\Bigr)$$

  $$= \frac{1}{n^2}{\mathbb{E}\,}\Bigl(\Bigl(\sum\limits_{i=1}^n X_i^2+\sum\limits_{i\not= j} X_i X_j\Bigr)\sum\limits_{j=1}^n X_j^2\Bigr)$$

  $$= \frac{1}{n^2}{\mathbb{E}\,}\Bigl(\sum\limits_{i=1}^n X_i^2\sum\li... ...athbb{E}\,}\Bigl(\sum\limits_{i\not= j} X_i X_j \sum\limits_{k=1}^n X_k^2\Bigr)$$

  $$= \frac{1}{n^2}{\mathbb{E}\,}\Bigl(\Bigl(\sum\limits_{i=1}^n X_i^2\... ...j}\sum\limits_{k=1}^n \underbrace{{\mathbb{E}\,}\Bigl(X_i X_j X_k^2\Bigr)}_{=0}$$

  $$\stackrel{(\ref{erw.ers.sum})}{=} \frac{1}{n^2}\bigl(n\mu_4+n(n-1)\sigma^4\bigr)$$

  $$= \frac{\mu_4+(n-1)\sigma^4}{n}\;,$$

  
  
  wobei die vorletzte Gleichheit aus (16), aus der Unabhängigkeit der Stichprobenvariablen $X_1,\ldots,X_n$ und aus der Annahme folgt, dass ${\mathbb{E}\,}X_i=0$ für jedes $i=1,\ldots,n$.
• Schließlich ergibt sich auf ähnliche Weise für den Erwartungswert des dritten Summanden
  

  $${\mathbb{E}\,}\Bigl(\overline X_n^4\Bigr) = {\mathbb{E}\,}\Bigl(\Bigl(\frac{1}{n}\;\sum\limits_{i=1}^n X_i\Bigr)^2\Bigl(\frac{1}{n}\;\sum\limits_{j=1}^n X_j\Bigr)^2\Bigr)$$

  $$= \frac{1}{n^4}\;{\mathbb{E}\,}\Bigl(\Bigl(\sum\limits_{k=1}^n X_k^... ...igr) \Bigl(\sum\limits_{r=1}^n X_r^2+\sum\limits_{s\not= t} X_s X_t\Bigr)\Bigr)$$

  $$= \frac{1}{n^4}\;{\mathbb{E}\,}\Bigl(\sum\limits_{k=1}^n X_k^4+\sum\limits_{k\not= r} X_k^2 X_r^2+2\sum\limits_{i\not= j} X_i^2 X_j^2\Bigr)$$

  $$= \frac{1}{n^4}\;\bigl(n\mu_4+3n(n-1)\sigma^4\bigr)\,.$$

  
  

• Insgesamt ergibt sich also, dass
  

  $${\mathbb{E}\,}(S_n^4) = \frac{n\mu_4}{(n-1)^2}-\frac{2\mu_4}{(n-1)^2}+\frac{\mu_4}{n(n-1)^2}+ \sigma^4\Bigl(\frac{n}{n-1}-\frac{2}{n-1}+\frac{3}{n(n-1)}\Bigr)$$

  $$= \frac{(n^2-2n+1)\mu_4}{n(n-1)^2}+\sigma^4\;\frac{n^2-2n+3}{n(n-1)}$$

  $$= \frac{1}{n}\;\mu_4+\frac{n^2-2n+3}{n(n-1)}\;\sigma^4\,.$$

  
  

• In Theorem WR-4.6 hatten wir gezeigt, dass
  $${\rm Var\,}Z={\mathbb{E}\,}(Z^2)-({\mathbb{E}\,}Z)^2$$
  für jede Zufallsvariable $Z$ mit ${\mathbb{E}\,}(Z^2)<\infty$.
• Hieraus und aus (10) folgt nun, dass
  

  $${\rm Var\,}(S_n^2) = {\mathbb{E}\,}(S_n^4)-\bigl({\mathbb{E}\,}(S_n^2)\bigr)^2$$

  $$= \frac{1}{n}\;\mu_4+\frac{n^2-2n+3}{n(n-1)}\;\sigma^4-\sigma^4$$

  $$= \frac{1}{n}\Bigl(\mu_4-\frac{n-3}{n-1}\;\sigma^4\Bigr)\;.$$

  
  
  
   
    $\Box$
  
  
  

Beachte

 

• Weil die Stichprobenvarianz $S_n^2$ den Erwartungswert $\sigma^2$ hat (vgl. (10)), kann $S_n^2$ als ein geeigneter Schätzer der (im allgemeinen unbekannten) Modellcharakteristik $\sigma^2$ angesehen werden.
• Wegen (10) sagt man, dass bei der Schätzung von $\sigma^2$ durch $S_n^2$ kein systematischer Fehler begangen wird.
• Darüber hinaus bedeutet (11), dass die Schätzgenauigkeit mit wachsendem Stichprobenumfang $n$ verbessert wird, falls das 4-te zentrale Moment der Stichprobenvariablen endlich ist.

Neben den Formeln (10) und (11) für Erwartungswert und Varianz des Stichprobenvarianz $S_n^2$ sind erneut weitere Aussagen über die Verteilung von $S_n^2$ bzw. über deren asymptotisches Verhalten für große $n$ von Interesse.

Theorem 1.4   Es gilt

$$P\Bigl(\lim\limits _{n\to\infty} S_n^2 =\sigma^2\Bigr)=1\,.$$ (17)

Falls ${\mathbb{E}\,}(X_i^4)<\infty$ für $i=1,\ldots,n$, dann gilt außerdem

$$\lim\limits _{n\to\infty}P\Bigl(\sqrt{n} \frac{S_n^2 -\sigma^2}{\sqrt{\mu^\prime_4-\sigma^4}}\le x\Bigr)=\Phi(x)$$ (18)

für jedes $x\in\mathbb{R}$, wobei $\mu^\prime_4={\mathbb{E}\,}\bigl((X_i-\mu)^4\bigr)$ und $\sigma^4=({\rm Var\,}X_i)^2$ das $4$-te zentrale Moment bzw. die quadrierte Varianz der Stichprobenvariablen $X_1,\ldots,X_n$ bezeichnen und $\Phi(x)$ die Verteilungsfunktion der Standardnormalverteilung ist.

Beweis

 

• Aus der Voraussetzung, dass die Stichprobenvariablen $X_1,\ldots,X_n$ unabhängig und identisch verteilt sind, ergibt sich, dass auch die Zufallsvariablen $X_1^2,\ldots,X_n^2$ unabhängig und identisch verteilt sind, vgl. Theorem WR-3.18.
• Deshalb ergibt sich aus dem starken Gesetz der großen Zahlen (vgl. Theorem WR-5.15), dass mit Wahrscheinlichkeit 1
  $$\lim\limits _{n\to\infty}\frac{1}{n}\sum\limits _{i=1}^n X_i^2={\mathbb{E}\,}(X_1^2)\,.$$

• Außerdem ergibt sich aus (5), dass mit Wahrscheinlichkeit 1
  $$\lim\limits _{n\to\infty} \overline X_n^2 = \lim\limits _{n\to\i... ...nfty}\frac{1}{n}\sum\limits _{i=1}^n X_i\Bigr)^2 = ({\mathbb{E}\,}X_1)^2\,.$$

• Hieraus und aus (15) ergibt sich nun, dass mit Wahrscheinlichkeit 1
  

  $$\lim\limits_{n\to\infty} S_n^2 = \lim\limits_{n\to\infty} \frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n X_i^2-n\overline X_n^2\Bigr)$$

  $$= \lim\limits_{n\to\infty} \frac{n}{n-1}\Bigl(\frac{1}{n}\sum\limits_{i=1}^n X_i^2-\overline X_n^2\Bigr)$$

  $$= \lim\limits_{n\to\infty}\frac{1}{n}\sum\limits_{i=1}^n X_i^2- \lim\limits_{n\to\infty}\overline X_n^2$$

  $$= {\mathbb{E}\,}(X_1^2)-({\mathbb{E}\,}X_1)^2=\sigma^2\,.$$

  
  

• Damit ist (17) bewiesen.
• Um die Gültigkeit von (18) zu zeigen, benutzen wir die Darstellungsformeln (12) und (15) der Stichprobenvarianz $S_n^2$.
• Dabei ergibt sich, dass
  $$S_n^2=\frac{1}{n-1}\Bigl(\sum\limits_{i=1}^n (X_i^\prime)^2-n(\o... ...1}{n}\sum\limits_{i=1}^n (X^\prime_i)^2 -(\overline {X^\prime}_n)^2\Bigr)\,,$$
  wobei $X^\prime_i=X_i-\mu$.
• Aus Formel (5) in Theorem 1.2 ergibt sich, dass $(\overline {X^\prime}_n)^2\stackrel{{\rm f.s.}}{\longrightarrow}0$.
• Deshalb ergibt sich aus dem Satz von Slutsky für die Addition bzw. Multiplikation (vgl. die Theoreme WR-5.9 und WR-5.11), dass für jedes $x\in\mathbb{R}$
  

  $$\lim\limits _{n\to\infty}P\Bigl(\sqrt{n} \frac{S_n^2 -\sigma^2}{\sqrt{\mu^\prime_4-\sigma^4}}\le x\Bigr) = \lim\limits _{n\to\infty}P\Bigl(\sqrt{n} \frac{\displaystyle\frac... ...imits_{i=1}^n (X^\prime_i)^2-\sigma^2}{\sqrt{\mu^\prime_4-\sigma^4}}\le x\Bigr)$$

  $$= \lim\limits _{n\to\infty}P\Bigl( \frac{\sum\limits_{i=1}^n (X^\prime_i)^2-n\sigma^2}{\sqrt{n(\mu^\prime_4-\sigma^4)}}\le x\Bigr)$$

  $$= \lim\limits _{n\to\infty}P\Bigl( \frac{\sum\limits_{i=1}^n (X^\pr... ...X^\prime_1)^2\bigr)}{\sqrt{n{\rm Var\,}\bigl((X^\prime_1)^2\bigr) }}\le x\Bigr)$$

  $$= \Phi(x)\,,$$

  
  
  wobei sich die letzte Gleichheit aus dem zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen ergibt (vgl. Theorem WR-5.16).
  
  $\Box$

Korollar 1.1   Es gilt

$$\lim\limits _{n\to\infty}P\Bigl(\sqrt{n}\; \frac{\overline X_n -\mu}{S_n}\le x\Bigr)=\Phi(x)$$ (19)

für jedes $x\in\mathbb{R}$, wobei $\Phi(x)$ die Verteilungsfunktion der Standardnormalverteilung ist.

Beweis

 

• Aus (17) in Theorem 1.4 ergibt sich, dass $S_n\stackrel{{\rm f.s.}}{\longrightarrow}\sigma$.
• Aus (6) in Theorem 1.2 ergibt sich nun die Behauptung mit Hilfe des Satzes von Slutsky für die Multiplikation (vgl. Theorem WR-5.11).
  
  $\Box$

Beachte

 

• Korollar 1.1 bietet die Möglichkeit, ein (zufälliges) Intervall anzugeben, in dem die Abweichung $\overline X_n-\mu$ des Stichprobenmittels $\overline X_n$ von dem zu schätzenden Wert $\mu$ mit einer (näherungsweise) vorgegebenen Wahrscheinlichkeit liegt, vgl. Formel (20).
• Sei $\alpha\in(0,1)$, und sei $z_\alpha\in\mathbb{R}$ die (eindeutig bestimmte) Lösung der Gleichung $\Phi(z_\alpha)=\alpha$.
• Dann heißt $z_\alpha$ das $\alpha$-Quantil der Standardnormalverteilung N$(0,1)$.
• Für $\alpha\ge 0.5$ kann man das $\alpha$-Quantil der N$(0,1)$-Verteilung aus Tabelle 1 entnehmen, vgl. Abschnitt 6.
• Aus (19) ergibt sich nun, dass

  $$P\Bigl(\frac{-z_{1-\alpha/2}S_n}{\sqrt{n}}<\overline X_n-\mu<\frac{z_{1-\alpha/2}S_n}{\sqrt{n}}\Bigr)\approx 1-\alpha\,,$$ (20)

  
  
  denn
  

  $$\hspace{-0.5cm}P\Bigl(\frac{-z_{1-\alpha/2}S_n}{\sqrt{n}}<\overline X_n-\mu<\frac{z_{1-\alpha/2}S_n}{\sqrt{n}}\Bigr) = P\Bigl(-z_{1-\alpha/2}<\sqrt{n}\;\frac{\overline X_n-\mu}{S_n}<z_{1-\alpha/2}\Bigr)$$

  $$= P\Bigl(\sqrt{n}\;\frac{\overline X_n-\mu}{S_n}<z_{1-\alpha/2}\Bigr)- P\Bigl(\sqrt{n}\;\frac{\overline X_n-\mu}{S_n}\le -z_{1-\alpha/2}\Bigr)$$

  $$\stackrel{(\ref{cen.var.mit})}{\approx} \Phi(z_{1-\alpha/2})-\Phi(-z_{1-\alpha/2})$$

  $$= \Phi(z_{1-\alpha/2})-\Phi(z_{\alpha/2})=1-\alpha\,,$$

  
  
  wobei in der vorletzten Gleichheit die Symmetrieeigenschaft

  $$z_{\alpha/2}=-z_{1-\alpha/2}$$ (21)

  
  
  der Quantile der N$(0,1)$-Verteilung genutzt wurde.