Binäre kategoriale Regression

• In diesem Abschnitt betrachten wir den Fall, dass die Stichprobenvariablen $Y_1,\ldots,Y_n$ Bernoulli-verteilt sind, d.h., sie können nur die Werte 0 bzw. $1$ mit positiver Wahrscheinlichkeit annehmen.
  • Dabei verwenden wir die Schreibweise
    $$\pi_i=\mathbb{P}(Y_i=1)\qquad\Bigl(=\mu_i\;=\;{\mathbb{E} }Y_i\Bigr)\qquad \forall i=1,\ldots, n ,$$
    wobei vorausgesetzt wird, dass $0<\pi_i<1$ für jedes $i=1,\ldots,n$.
  • In diesem Fall werden also die Wahrscheinlichkeiten $\pi_1,\ldots,\pi_n$ über eine Linkfunktion $g:(0,1)\to\mathbb{R}$ mit dem Parametervektor ${\boldsymbol {\beta }}$ verknüpft, d.h.,

    $$\bigl(g(\pi_1),\ldots,g(\pi_n)\bigr)^\top={\mathbf{X}}{\boldsymbol{\beta}} .$$ (17)

    
    

• Für jedes $i=1,\ldots,n$ gehört die Bin$(1,\pi_i)$-Verteilung zu der Exponentialfamilie, die in Abschnitt 4.1.1 eingeführt worden ist, wobei $\theta_i=\log(\pi_i/(1-\pi_i))$.
  • Denn für $y=0,1$ gilt
    $$\mathbb{P}_{\theta_i}(Y_i=y)=\pi_i^y (1-\pi_i)^{1-y}=\exp\Bigl(y... ...p\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta_i+a(y,\tau)-b(\theta_i)\bigr)\Bigr) ,$$

  • wobei

    $$\tau^2=1 ,\qquad a(y)=0 \qquad b(\theta_i)=\log(1+e^{\theta_i}) .$$ (18)

    
    

Beachte

 

• Aus (18) ergibt sich, dass $(b^{(1)})^{-1}(x)=\log(x/(1-x))$ für jedes $x\in(0,1)$, d.h., die natürliche Linkfunktion $g:(0,1)\to\mathbb{R}$ ist gegeben durch

  $$g(x)=\log\Bigl(\frac{x}{1-x}\Bigr)\qquad\forall\; x\in(0,1) .$$ (19)

  
  
  • Das in (17) betrachtete GLM mit der in (19) gegebenen natürlichen Linkfunktion wird dann (binäres) logistisches Regressionsmodell genannt.
  • In diesem Fall ist die Abhängigkeit der Wahrscheinlichkeiten $\pi_i=\pi_i({\boldsymbol{\beta}})$ von den Linearkombinationen ${\mathbf{x}}_i^\top{\boldsymbol{\beta}}$ gegeben durch

    $$\pi_i\;=\;\frac{1}{1+\exp(-{\mathbf{x}}_i^\top{\boldsymbol{\beta}})}\qquad\forall\;i=1,\ldots,n .$$ (20)

    
    

• Eine andere (nicht natürliche) Linkfunktion $g:(0,1)\to\mathbb{R}$, die in diesem Zusammenhang betrachtet wird, ist gegeben durch

  $$g=\Phi^{-1} ,$$ (21)

  
  
  • wobei $\Phi:\mathbb{R}\to(0,1)$ die Verteilungsfunktion der N$(0,1)$-Verteilung ist.
  • Dann gilt $\pi_i=\Phi({\mathbf{x}}_i^\top{\boldsymbol{\beta}})$ für jedes $i=1,\ldots,n$, und man spricht vom Modell der Probitanalyse.