Maximum-Likelihood-Methode

• Eine andere Methode zur Gewinnung von Schätzern für die unbekannten Komponenten des Parametervektors $\theta=(\theta_1,\ldots,\theta_m)$ ist die Maximum-Likelihood-Methode.
• Genauso wie bei der Momentenmethode wird auch bei der Maximum-Likelihood-Methode das Ziel verfolgt, $\theta$ so zu schätzen, daß eine möglichst gute Anpassung der Modellcharakteristiken $P_\theta$ bzw. $F_\theta$ an die beobachteten Daten erreicht wird.
• Dabei wird bei der Maximum-Likelihood-Methode die Wahrscheinlichkeit für das Eintreten bestimmter (infinitesimaler) Ereignisse maximiert.
• Als der ,,Erfinder'' der Maximum-Likelihood-Methode gilt Sir Ronald Aylmer Fisher (1890-1962).

Wir betrachten nur die beiden (grundlegenden) Fälle, daß die Stichprobenvariablen $X_1,\ldots,X_n$ entweder diskret oder absolutstetig sind. D.h., für jedes $\theta\in\Theta$ gelte entweder

• $P_\theta(X_i\in C)=1$ für eine abzählbare Menge $C\subset \mathbb{R}$,
• wobei wir mit $\{p(x;\theta),\, x\in C\}$ die Wahrscheinlichkeitsfunktion von $X_i$ bezeichnen; $p(x;\theta)=P_\theta(X_i=x)$

oder

• $F_\theta(x)=\int\limits _{-\infty}^x f(y;\theta)\,dy$ für jedes $x\in\mathbb{R}$,
• wobei $f(\cdot\,;\theta)$ die Dichte von $X_i$ ist.

Definition 5.18

$\;$ Die Abbildung $L:\mathbb{R}^n\times\Theta\to[0,\infty)$ sei durch die folgende Vorschrift gegeben.

• Falls $X_i$ diskret ist, dann gelte

  $$L(x_1,\ldots,x_n;\theta)=p(x_1;\theta)\ldots p(x_n;\theta)\qquad\forall (x_1,\ldots,x_n)\in\mathbb{R}^n,\;\theta\in\Theta\,.$$ (33)

  
  

• Falls $X_i$ absolutstetig ist, dann gelte

  $$L(x_1,\ldots,x_n;\theta)=f(x_1;\theta)\ldots f(x_n;\theta)\qquad\forall (x_1,\ldots,x_n)\in\mathbb{R}^n,\;\theta\in\Theta\,.$$ (34)

  
  

Für jeden Vektor $(x_1,\ldots,x_n)\in\mathbb{R}^n$ heißt die Abbildung $\theta\to L(x_1,\ldots,x_n;\theta)$ die Likelihood-Funktion der Stichprobe $(x_1,\ldots,x_n)$.

Die Idee der Maximum-Likelihood-Methode besteht nun darin, für jede (konkrete) Stichprobe $(x_1,\ldots,x_n)$ einen Parametervektor $\theta\in\Theta$ zu bestimmen, so daß der Wert $L(x_1,\ldots,x_n;\theta)$ der Likelihood-Funktion möglichst groß wird. Dies führt zu der folgenden

Definition 5.19

$\;$ Sei $\hat\theta:\mathbb{R}^n\to\Theta\subset\mathbb{R}^m$ eine Stichprobenfunktion mit

$$L(x_1,\ldots,x_n;\theta)\le L(x_1,\ldots,x_n;\hat\theta(x_1,\ldots,x_n))\qquad\forall (x_1,\ldots,x_n)\in\mathbb{R}^n,\;\theta\in\Theta\,.$$ (35)

Der Zufallsvektor $\hat\theta(X_1,\ldots,X_n)$ wird dann Maximum-Likelihood-Schätzer von $\theta$ genannt.

Beispiel

 

• Eine Warenlieferung eines unbekannten Herstellers bestehe aus 12 Exemplaren eines Artikels.
• Dabei sei festgestellt worden, daß eines der 12 Exemplare Ausschuß ist.
• Es sei bekannt, daß nur drei potentiell mögliche Hersteller in Frage kommen und daß deren Lieferungen erfahrungsgemäß jeweils einen Ausschußanteil von $\theta_1=0,05$, $\theta_2=0,10$ bzw. $\theta_3=0,15$ aufweisen.
• Frage: Welcher der drei Hersteller war vermutlich der Absender der Warenlieferung?
• Modell: Betrachten die Stichprobenvariablen $X_1,\ldots,X_{12}$ mit
  $$X_i(\omega)=\left\{\begin{array}{ll} 1\,, & \mbox{falls das $i$-te Exemplar der Lieferung Ausschuß ist}\\ 0 & \mbox{sonst} \end{array}\right.$$
  und die Familie der drei Bernoulli-Verteilungen $\{$Bin $(1,\theta_1),$Bin $(1,\theta_2),$Bin $(1,\theta_3)\}$, d.h. $m=1$ und $\Theta=\{\theta_1,\theta_2,\theta_3\}$.
• Lösung: Die Stichprobenfunktion
  $$\hat\theta:\{0,1\}^{12}\to\{\theta_1,\theta_2,\theta_3\}$$
  wird so gewählt, daß für jeden Vektor $(x_1,\ldots,x_{12})\in\{0,1\}^{12}$ mit $\vert\{i:x_i=1\}\vert=1$ die Wahrscheinlichkeit
  $$P_\theta((X_1,\ldots,X_{12})=(x_1,\ldots,x_{12}))=\theta(1-\theta)^{11}$$
  maximal ist.
• Es gilt
  

  
  
  

  $\theta$	$P_\theta((X_1,\ldots,X_{12})=(x_1,\ldots,x_{12}))$
  $0,05$	$0,028$
  $0,10$	$0,031$
  $0,15$	$0,025$

  
  
  
• Das Maximum $0,031$ steht in der zweiten Zeile dieser Tabelle.
• Also ist $\hat\theta(x_1,\ldots,x_{12})=\theta_2$, d.h., der Hersteller mit dem Ausschußanteil $\theta_2=0.10$ war vermutlich der Absender der Lieferung.

Beachte

 

• Es gibt Beispiele parametrischer Verteilungsfamilien, so daß der mittels (35) definierte Maximum-Likelihood-Schätzer $\hat\theta(X_1,\ldots,X_n)$ nicht eindeutig bestimmt ist.
• In vielen Fällen läßt sich das Optimierungsproblem (35) jedoch durch Differenzieren eindeutig lösen.
• Anstelle (35) wird dabei oft die (äquivalente) Bedingung

  $$\log L(x_1,\ldots,x_n;\theta)\le \log L(x_1,\ldots,x_n;\hat\theta... ...,\ldots,x_n))\,,\qquad\forall (x_1,\ldots,x_n)\in\mathbb{R}^n,\;\theta\in\Theta$$ (36)

  
  
  betrachtet.
• Für jeden Vektor $(x_1,\ldots,x_n)\in\mathbb{R}^n$ wird die Abbildung $\theta\to \log L(x_1,\ldots,x_n;\theta)$ die Loglikelihood-Funktion der Stichprobe $(x_1,\ldots,x_n)$ genannt.
• Sie bietet den Vorteil, daß beim Übergang zur Loglikelihood-Funktion die Produkte in (33) bzw. (34) in (einfacher handhabbare) Summen übergehen.

Beispiele

 

1. Bernoulli-Verteilung
   
   • Betrachten die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(1,p),\,p\in[0,1]\}$ der Bernoulli-Verteilungen.
   • Dann gilt
     $$p(x;p)=\left\{\begin{array}{ll} p^x(1-p)^{1-x}\,,&\mbox{falls $x\in\{0,1\}$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Die Likelihood-Funktion $L$ ist also gegeben durch
     $$L(x_1,\ldots,x_n;p)=\left\{\begin{array}{ll} \prod\limits _{i=1}^... ...{falls $(x_1,\ldots,x_n)\in\{0,1\}^n$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Falls $x_1=\ldots=x_n=0$ bzw. $x_1=\ldots=x_n=n$, dann sieht man leicht, daß die Abbildung $p\to L(x_1,\ldots,x_n;p)$ an der Stelle $p=0$ bzw. $p=1$ ein (eindeutig bestimmtes) Maximum hat.
   • Sei nun $(x_1,\ldots,x_n)\in\{0,1\}^n$ mit $0<\sum\limits _{i=1}^n x_i<n$. Dann ist
     $$p\to \log L(x_1,\ldots,x_n;p)=\Bigl(\sum\limits _{i=1}^n x_i\Bigr)\log p+\Bigl(n-\sum\limits _{i=1}^n x_i\Bigr)\log (1-p)$$
     eine stetige Funktion im Intervall $(0,1)$, und es gilt
     $$\lim\limits _{p\to 0}\log L(x_1,\ldots,x_n;p)=-\infty$$   bzw.$$\qquad \lim\limits _{p\to 1}\log L(x_1,\ldots,x_n;p)=-\infty\,.$$

   • Die Abbildung $p\to\log L(x_1,\ldots,x_n;p)$ hat also ein Maximum im Intervall $(0,1)$.
   • Durch Differenzieren nach $p$ ergibt sich
     $$\frac{\partial\log L(x_1,\ldots,x_n;p)}{\partial p}= \Bigl(\sum\l... ...^n x_i\Bigr)\frac{1}{p}-\Bigl(n-\sum\limits _{i=1}^n x_i\Bigr)\frac{1}{1-p}\;.$$

   • Weil die Gleichung
     $$\Bigl(\sum\limits _{i=1}^n x_i\Bigr)\frac{1}{p}-\Bigl(n-\sum\limits _{i=1}^n x_i\Bigr)\frac{1}{1-p}=0$$
     die (eindeutig bestimmte) Lösung
     $$\hat p(x_1,\ldots,x_n)=\frac{1}{n}\sum\limits _{i=1}^n x_i\qquad \Bigl(=\overline x_n\Bigr)$$
     hat, nimmt die Abbildung $p\to\log L(x_1,\ldots,x_n;p)$ an der Stelle $p=\overline x_n$ ihr Maximum an.
   • Also ist der Maximum-Likelihood-Schätzer für den Parameter $p$ gegeben durch
     $$\hat p(X_1,\ldots,X_n)=\frac{1}{n}\sum\limits _{i=1}^n X_i \qquad \Bigl(=\overline X_n\Bigr)\,.$$

   
   

2. Binomial-Verteilung
   
   • Für eine beliebige, jedoch vorgegebene (d.h. bekannte) natürliche Zahl $n_0\ge 1$ betrachten wir nun die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(n_0,p),\,p\in[0,1]\}$ von Binomialerteilungen.
   • Dann gilt
     $$p(x;p)=\left\{\begin{array}{ll} \displaystyle {n_0\choose x} p^x(... ...&\mbox{falls $x\in\{0,1,\ldots,n_0\}$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Genauso wie in Beispiel 1 ergibt sich der Maximum-Likelihood-Schätzer
     $$\hat p(X_1,\ldots,X_n)=\frac{\overline X_n}{n_0}$$
     für den (unbekannten) Parameter $p$.

   
   

3. Poisson-Verteilung
   
   • Betrachten die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$Poi $(\lambda),\,\lambda\ge 0\}$ der Poisson-Verteilungen.
   • Dann gilt
     $$p(x;\lambda)=\left\{\begin{array}{ll}\displaystyle \frac{\lambda^... ...}\,,&\mbox{falls $x\in\{0,1,\ldots\}$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Auf die gleiche Weise wie in den Beispielen 1 und 2 ergibt sich der Maximum-Likelihood-Schätzer
     $$\hat \lambda(X_1,\ldots,X_n)=\overline X_n$$
     für den Parameter $\lambda$.

   
   

4. Normalverteilung
   
   • Betrachten nun die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\, \mu\in\mathbb{R},\sigma^2>0\}$ der Normalverteilungen.
   • Dann gilt
     $$f(x;\mu,\sigma^2)= \frac{1}{\sqrt{2\pi}\sigma} \exp \Bigl( -\frac{1}{2}\Bigl(\frac{x-\mu}{\sigma }\Bigr)^{2}\Bigr)\,.$$

   • Die Likelihood-Funktion $L$ ist somit gegeben durch
     $$L(x_1,\ldots,x_n;\mu,\sigma^2)=\Bigl(\frac{1}{\sqrt{2\pi}\sigma}\Bigr)^n \exp \Bigl( -\frac{1}{2\sigma^2}\sum\limits _{i=1}^n (x_i-\mu)^2\Bigr)\,.$$

   • Für die Loglikelihood-Funktion gilt
     $$\log L(x_1,\ldots,x_n;\mu,\sigma^2)=-n\log(\sqrt{2\pi}\sigma) -\frac{1}{2\sigma^2}\sum\limits _{i=1}^n (x_i-\mu)^2\,.$$

   • Durch Differenzieren nach $\mu$ ergibt sich
     $$\frac{\partial \log L(x_1,\ldots,x_n;\mu,\sigma^2)}{\partial\mu}=... ... \log L(x_1,\ldots,x_n;\mu,\sigma^2)}{\partial^2\mu}= -\frac{1}{\sigma^2}<0\,.$$

   • Für jedes (fest vorgegebene) $\sigma^2>0$ nimmt also die Abbildung
     $$\mu\to\log L(x_1,\ldots,x_n;\mu,\sigma^2)$$
     ihr Maximum an der Stelle $\mu=\overline x_n$ an.
   • Es ist nun noch das Maximum der Abbildung

     $$\sigma^2\to\log L(x_1,\ldots,x_n;\overline x_n,\sigma^2)$$ (37)

     
     
     zu bestimmen.
   • Weil $P(X_1=\ldots=X_n)=0$ gilt, können wir annehmen, daß nicht alle Stichprobenwerte $x_1,\ldots,x_n$ gleich sind.
   • Dann ist die Abbildung (37) stetig für alle $\sigma^2>0$, und es gilt
     $$\lim\limits _{\sigma^2\to 0}\log L(x_1,\ldots,x_n;\overline x_n,\sigma^2) =-\infty$$   bzw.$$\qquad \lim\limits _{\sigma^2\to\infty}\log L(x_1,\ldots,x_n;\overline x_n,\sigma^2) =-\infty\,.$$

   • Die Abbildung (37) hat also ein Maximum im Intervall $(0,\infty)$.
   • Durch Differenzieren nach $\sigma^2$ ergibt sich
     $$\frac{\partial \log L(x_1,\ldots,x_n;\overline x_n,\sigma^2)}{\pa... ...}{2\sigma^2} +\frac{1}{2\sigma^4}\sum\limits _{i=1}^n (x_i-\overline x_n)^2\,.$$

   • Weil vorausgesetzt wird, daß nicht alle Stichprobenwerte $x_1,\ldots,x_n$ gleich sind, gilt
     $$\sum\limits _{i=1}^n (x_i-\overline x_n)^2>0\,.$$

   • Deshalb hat die Gleichung
     $$-\frac{n}{2\hat\sigma^2} +\frac{1}{2\hat\sigma^4}\sum\limits _{i=1}^n (x_i-\overline x_n)^2 = 0$$
     die (eindeutig bestimmte) Lösung
     $$\hat\sigma^2(x_1,\ldots,x_n) =\frac{1}{n}\sum\limits _{i=1}^n(x_i-\overline x_n)^2\,.$$

   • Hieraus ergeben sich die Maximum-Likelihood-Schätzer
     $$\hat\mu(X_1,\ldots,X_n)=\overline X_n\,,\qquad \hat\sigma^2(X_1,\ldots,X_n) =\frac{1}{n}\sum\limits _{i=1}^n(X_i-\overline X_n)^2$$
     für die Parameter $\mu$ und $\sigma^2$.

   
   

5. Gleichverteilung
   
   • Betrachten die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$U $(0,b),\,b>0\}$ von Gleichverteilungen.
   • Dann gilt
     $$f(x;b)=\left\{ \begin{array}{ll}\displaystyle \frac{1}{b}\;, & \mbox{falls $0<x<b$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Die Likelihood-Funktion $L$ ist somit gegeben durch
     $$L(x_1,\ldots,x_n;b)=\left\{ \begin{array}{ll}\displaystyle \frac{... ...;, & \mbox{falls $0<x_1,\ldots,x_n <b$}\\ 0 & \mbox{sonst} \end{array}\right.$$

   • Weil die Abbildung $b\to L(x_1,\ldots,x_n;b)$ monoton fallend ist für $b>\max\{x_1,\ldots,x_n\}\ge 0$, ergibt sich der Maximum-Likelihood-Schätzer
     $$\hat b(X_1,\ldots,X_n)=\max\{X_1,\ldots,X_n\}$$

   für den Parameter $b$.