Exponentialfamilie

Wir nehmen an, dass die Stichprobenvariablen $Y_1,\ldots,Y_n$ unabhängig (jedoch i. a. nicht identisch verteilt) sind,

• wobei ihre Verteilungen zu einer einparametrischen Exponentialfamilie gehören, d.h., ihre Dichten bzw. Wahrscheinlichkeitsfunktionen besitzen die folgende Form: Für jedes $i\in\{1,\ldots,n\}$ gilt
  • im absolutstetigen Fall

    $$f(y;\theta_i)=\exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta_i+a(y,\tau)-b(\theta_i)\bigr)\Bigr) ,\qquad\forall\;y\in\mathbb{R} ,$$ (2)

    
    

  • im diskreten Fall

    $$\mathbb{P}_{\theta_i}(Y_i=y)=\exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta_i+a(y,\tau)-b(\theta_i)\bigr)\Bigr) ,\qquad\forall\;y\in C ,$$ (3)

    
    
    wobei $a: \mathbb{R}\times(0,\infty)\to\mathbb{R}$ und $b:\,\Theta\to\mathbb{R}$ gewisse Funktionen sind und $C\subset\mathbb{R}$ die kleinste abzählbare Teilmenge von $\mathbb{R}$ ist, für die $\mathbb{P}_{\theta_i}(Y_i\in C)=1$ gilt.
• Dabei ist $\tau^2>0$ ein so genannter Störparameter, der nicht vom Index $i$ abhängt, wobei oft angenommen wird, dass $\tau^2$ bekannt ist.
• Dann ist

  $$\Theta=\Bigl\{\theta\in\mathbb{R}:\,... ...nfty}^\infty\exp\Bigl(\frac{y\theta+a(y,\tau)}{\tau^2}\Bigr)\,dy< \infty\Bigr\}$$ (4)

  
  
  bzw.

  $$\Theta=\Bigl\{\theta\in\mathbb{R}:\,\sum_{y\in C} \exp\Bigl(\frac{y\theta+a(y,\tau)}{\tau^2}\Bigr)< \infty\Bigr\}$$ (5)

  
  
  der natürliche Parameterraum, wobei wir stets annehmen, dass die Integrierbarkeitsbedingung in (4) bzw. (5) für mindestens zwei verschiedene $\theta_1,\theta_2\in\mathbb{R}$ erfüllt ist.

Beachte

  Im absolutstetigen Fall kann der Störparameter $\tau^2$ die Rolle eines zusätzlichen Varianzparameters spielen, während $\tau^2$ im diskreten Fall meistens gleich $1$ gesetzt wird.

Lemma 4.1   Der in $(\ref{eig.par.rau})$ bzw. $(\ref{eig.par.dis})$ gegebene Parameterraum $\Theta\subset\mathbb{R}$ ist ein Intervall in $\mathbb{R}$.

Beweis

 

• Wir betrachten hier nur den absolutstetigen Fall, denn im diskreten Fall verläuft der Beweis analog.
• Man kann sich leicht überlegen, dass für beliebige $x_1,x_2\in\mathbb{R}$ und $\alpha\in(0,1)$
  $$\bigl(e^{x_1}\bigr)^\alpha \bigl(e^{x_2}\bigr)^{1-\alpha} \;\le\... ...(e^{x_i}\bigr)^{1-\alpha} \;=\; \max_{i=1,2,}e^{x_i}\;\le\; e^{x_1}+e^{x_2} .$$

• Hieraus ergibt sich mit der Schreibweise $\theta=\alpha\theta_1+(1-\alpha)\theta_2$, dass für beliebige $\theta_1,\theta_2\in\Theta$ und $\alpha\in(0,1)$
  

  $$\int_{-\infty}^\infty\exp\Bigl(\frac{y\theta+a(y,\tau)}{\tau^2}\Bigr) dy = \int_{-\infty}^\infty\Bigl(\exp\Bigl(\frac{y\theta_1+a(y,\tau)}{\... ...a \Bigl(\exp\Bigl(\frac{y\theta_2+a(y,\tau)}{\tau^2}\Bigr)\Bigr)^{1-\alpha} dy$$

  $$\le \int_{-\infty}^\infty\Bigl(\exp\Bigl(\frac{y\theta_1+a(y,\tau)}{\... ...}\Bigr)+ \exp\Bigl(\frac{y\theta_2+a(y,\tau)}{\tau^2}\Bigr)\Bigr) dy<\infty .$$

  
  

• Somit gilt auch $\theta\in\Theta$.
  
  $\Box$

Wegen Lemma 4.1 können (und werden) wir in diesem Kapitel stets annehmen, dass $\Theta\subset\mathbb{R}$ ein offenes Intervall ist, so dass die Integrierbarkeitsbedingung in (4) bzw. (5) für jedes $\theta\in\Theta$ erfüllt ist.

Lemma 4.2    

• Die Verteilung der Zufallsvariablen $Y:\Omega\to\mathbb{R}$ sei durch $(\ref{dic.exp.fam})$ bzw. $(\ref{dic.exp.dis})$ für ein beliebiges $\theta\in\Theta$ gegeben, wobei

  $${\mathbb{E}\,}(Y^2)<\infty\qquad\forall\;\theta\in\Theta$$ (6)

  
  
  gelte und die Funktion $b:\Theta\to\mathbb{R}$ zweimal stetig differenzierbar sei.
• Dann gilt

  $${\mathbb{E} }Y= b^{(1)}(\theta) \qquad{\rm Var } Y=\tau^2 b^{(2)}(\theta) .$$ (7)

  
  

Beweis

 

• Wir betrachten erneut lediglich den absolutstetigen Fall, denn im diskreten Fall verläuft der Beweis analog. Dabei gilt
  

  $${\mathbb{E} }Y = \int_{-\infty}^\infty y \exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\the... ...^\infty y \exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta+a(y,\tau)\bigr)\Bigr) dy$$

  $$= e^{-b(\theta)/\tau^2}\; \tau^2 \int_{-\infty}^\infty \frac{d}{d\theta}\;\exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta+a(y,\tau)\bigr)\Bigr) dy$$

  $$= e^{-b(\theta)/\tau^2}\; \tau^2\;\frac{d}{d\theta}\; \int_{-\infty}^\infty \exp\Bigl(\frac{1}{\tau^2}\;\bigl( y\theta+a(y,\tau)\bigr)\Bigr) dy$$

  $$= e^{-b(\theta)/\tau^2}\; \tau^2\;\frac{d}{d\theta}\; e^{b(\theta)/... ...Bigl(\frac{1}{\tau^2}\;\bigl( y\theta+a(y,\tau)-b(\theta)\bigr)\Bigr) dy}_{=1}$$

  $$= b^{(1)}(\theta) .$$

  
  

• Auf ähnliche Weise ergibt sich, dass ${\mathbb{E} }(Y^2)=\tau^2 b^{(2)}(\theta)+({\mathbb{E} }Y)^2$.
  
  $\Box$