Schätzung des Erwartungswertvektors

Zur Erinnerung (vgl. Abschnitt 4.2.2): $\;$ Im binären kategorialen Regressionsmodell sind die Stichprobenvariablen $Y_1,\ldots,Y_n$ Bernoulli-verteilt, d.h., sie können nur die Werte 0 bzw. $1$ mit positiver Wahrscheinlichkeit annehmen.

• Dabei verwenden wir so wie bisher die Schreibweise
  $$\pi_i=\mathbb{P}(Y_i=1)\qquad\Bigl(=\mu_i\;=\;{\mathbb{E} }Y_i\Bigr)\qquad \forall i=1,\ldots, n ,$$
  wobei vorausgesetzt wird, dass $0<\pi_i<1$ für jedes $i=1,\ldots,n$.
• In diesem Fall werden also die Wahrscheinlichkeiten $\pi_1,\ldots,\pi_n$ über eine Linkfunktion $g:(0,1)\to\mathbb{R}$ mit dem Parametervektor ${\boldsymbol {\beta }}$ verknüpft, d.h.,

  $$\bigl(g(\pi_1),\ldots,g(\pi_n)\bigr)^\top={\mathbf{X}}{\boldsymbol{\beta}} .$$ (51)

  
  

• Um die Vektoren ${\boldsymbol{\pi}}=(\pi_1,\ldots,\pi_n)^\top$ bzw. ${\mathbf{g}}({\boldsymbol{\pi}})=\bigl(g(\pi_1),\ldots,g(\pi_n)\bigr)^\top$ schätzen zu können, nehmen wir an, dass wir für jedes $i=1,\ldots,n$ jeweils $n_i>0$ unabhängige und identisch verteilte ,,Kopien'' $Y_{i1},\ldots,Y_{in_i}$ von $Y_i$ beobachten können. Der Gesamtstichprobenumfang ist dann gleich $\sum_{i=1}^n n_i$.
• Für jedes $i=1,\ldots,n$ ist

  $$\widehat\pi_i\;=\;\frac{1}{n_i}\;\sum\limits_{j=1}^{n_i}Y_{ij}$$ (52)

  
  
  ein natürlicher Schätzer für $\pi_i$.
• Hieraus ergeben sich die Schätzer $\widehat{\boldsymbol{\pi}}=(\widehat\pi_1,\ldots,\widehat\pi_n)^\top$ bzw. ${\mathbf{g}}(\widehat{\boldsymbol{\pi}})=\bigl(g(\widehat\pi_1),\ldots,g(\widehat\pi_n)\bigr)^\top$ für ${\boldsymbol{\pi}}$ bzw. $g({\boldsymbol{\pi}})$.

Man kann sich leicht überlegen, dass der Schätzer $\widehat{\boldsymbol{\pi}}$ erwartungstreu für ${\boldsymbol{\pi}}$ ist und dass seine Kovarianzmatrix ${\mathbf{K}}(\widehat{\boldsymbol{\pi}})=\bigl({\rm Cov }(\widehat\pi_i,\widehat\pi_j)\bigr)$ die folgende Form besitzt.

Lemma 4.3   $\;$ Es gilt

$${\mathbb{E} }\widehat{\boldsymbol{\pi}}={\boldsymbol{\pi}} , \qquad {\rm Var } \widehat\pi_i=\pi_i(1-\pi_i)/n_i$$ (53)

und

$${\mathbf{K}}(\widehat{\boldsymbol{\pi}}) = {\rm diag}\bigl({\rm Var } \widehat\pi_i\bigr) .$$ (54)

Beweis

Die Behauptung ergibt sich unmittelbar aus der Tatsache, dass die Zufallsvariablen $n_1\widehat\pi_1,\ldots,n_n\widehat\pi_n$ unabhängig und binomialverteilt sind mit $n_i\widehat\pi_i\sim{\rm B}(n_i,\pi_i)$ für jedes $i=1,\ldots,n$.

$\Box$

Außerdem ergibt sich aus dem folgenden zentralen Grenzwertsatz, dass der Schätzer ${\mathbf{g}}(\widehat{\boldsymbol{\pi}})=\bigl(g(\widehat\pi_1),\ldots,g(\widehat\pi_n)\bigr)^\top$ asymptotisch normalverteilt ist.

Theorem 4.3   $\;$ Wenn $n_i\to\infty$ für jedes $i=1,\ldots,n$, so dass

$$\frac{\sum_{j=1}^n n_j}{n_i}\to\lambda_i\in[1,\infty)\qquad\forall \;i=1,\ldots,n ,$$ (55)

dann gilt

$$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2}\bigl({\mathbf{g}}(\wi... ...pi}})\bigr) \stackrel{{\rm d}}{\longrightarrow}{\rm N}({\bf o},{\mathbf{K}}) ,$$ (56)

wobei

$${\mathbf{K}}= {\rm diag}( \alpha_i) \qquad \alpha_i=\lambda_i (g^{(1)}(\pi_i))^2\pi_i(1-\pi_i) .$$ (57)

Beweis

 

• Weil wir voraussetzen, dass die Linkfunktion $g:(0,1)\to\mathbb{R}$ zweimal stetig differenzierbar ist, ergibt sich durch Taylor-Reihenentwicklung, dass für jedes $i=1,\ldots,n$
  

  $$g(\widehat\pi_i)-g(\pi_i) = g^{(1)}(\pi_i)\bigl(\widehat\pi_i-\pi_i\bigr)+g^{(2)}(Z_i) \bigl(... ...t\pi_i-\pi_i\bigr)^2\; =\; g^{(1)}(\pi_i)\bigl(\widehat\pi_i-\pi_i\bigr)+R_i ,$$

  
  
  wobei $R_i= g^{(2)}(Z_i) \bigl(\widehat\pi_i-\pi_i\bigr)^2$ und $Z_i:\Omega\to\mathbb{R}$ eine Zufallsvariable ist, deren Werte zwischen $\widehat\pi_i$ und $\pi_i$ liegen.
• Aus dem zentralen Grenzwertsatz für Summen von unabhängigen und identisch verteilten Zufallsvariablen (vgl. Theorem WR-5.16) ergibt sich, dass

  $$n_i^{1/2}\bigl(\widehat\pi_i-\pi_i\bigr)\stackrel{{\rm d}}{\longrightarrow}{\rm N}(0,\pi_i(1-\pi_i))\qquad\forall\;i=1,\ldots,n .$$ (58)

  
  

• Weil $\widehat\pi_i-\pi_i\to 0$ und somit auch $Z_i-\pi_i\to 0$ bzw. $g^{(2)}(Z_i)\to g^{(2)}(\pi_i)$ mit Wahrscheinlichkeit $1$, gilt außerdem, dass $n_i^{1/2} R_i\stackrel{{\rm P}}{\longrightarrow}0$ bzw.
  $$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2} R_i= \Biggl(\frac{\su... ...n n_j}{n_i}\Biggr)^{1/2} n^{1/2}_i R_i \stackrel{{\rm P}}{\longrightarrow}0 .$$

• Insgesamt ergibt sich also mit Hilfe des Satzes von Slutsky (vgl. die Theoreme WR-5.9 und WR-5.11), dass
  

  $$\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2} \Bigl(g(\widehat\pi_i)-g(\pi_i)\Bigr) = \Biggl(\frac{\sum\nolimits_{j=1}^n n_j}{n_i}\Biggr)^{1/2}\; g^{(1... ...\bigl(\widehat\pi_i-\pi_i\bigr)+\Bigl(\sum\nolimits_{j=1}^n n_j\Bigr)^{1/2} R_i$$

  $$\stackrel{{\rm d}}{\longrightarrow} {\rm N}\bigl(0,\lambda_i (g^{(1)}(\pi_i))^2\pi_i(1-\pi_i)\bigr) .$$

  
  

• Weil die Zufallsvariablen $g(\widehat\pi_1)-g(\pi_1),\ldots,g(\widehat\pi_i)-g(\pi_i)$ unabhängig sind, ist damit die Behauptung bewiesen.
  
  $\Box$