Bayes-Schätzer

• Zur Erinnerung: Bei der Momenten-Methode in Abschnitt 2.2.1 und auch bei der Maximum-Likelihood-Methode in Abschnitt 2.2.2 betrachteten wir das parametrische Modell, das in Abschnitt 2.1 eingeführt worden ist.
• Dabei setzten wir voraus, dass die Verteilungsfunktion $F$ der Stichprobenvariablen $X_1,\ldots,X_n$ zu einer vorgegebenen (d.h. bekannten) parametrischen Familie von Verteilungsfunktionen $\{F_\theta,\,\theta\in\Theta\}$ gehört.
• Mit anderen Worten: Es wurde angenommen, dass $F=F_\theta$ für ein $\theta\in\Theta$, wobei der Parametervektor $\theta=(\theta_1,\ldots,\theta_m)$ (bzw. ein Teil seiner Komponenten) unbekannt sei und aus den beobachteten Daten $x_1,\ldots,x_n$ geschätzt werden soll.
• Wir modifizieren nun dieses parametrische Modell folgendermaßen.
• Anstelle der bisherigen Modellannahme, dass der Parameter $\theta$ ein zwar unbekannter, jedoch deterministischer Vektor ist, setzen wir jetzt voraus, dass der Parameter selbst ein Zufallsvektor ist, den wir mit $\widetilde\theta:\Omega\to\Theta$ bezeichnen.
• Dabei nehmen wir an, dass wir bereits (vor der Erhebung von Daten) eine gewisse Vorkenntnis über die Verteilung von $\widetilde\theta$ besitzen.
• Diese Vorkenntnis modellieren wir durch eine Verteilung $Q:\mathcal{B}(\Theta)\to[0,1]$ über dem Parameterraum $(\Theta,\mathcal{B}(\Theta))$, die wir a-priori-Verteilung von $\widetilde\theta$ nennen.

Beachte

 

• Im folgenden werden wir nur den Fall betrachten, dass die a-priori Verteilung $Q$ von $\widetilde\theta$ entweder diskret oder absolutstetig ist, wobei $q:\Theta\to[0,\infty)$ entweder die Wahrscheinlichkeitsfunktion von $Q$ ist, d.h.,
  $$\sum\limits_{\theta\in C}q(\theta)=1$$
  für eine abzählbare Menge $C\subset\Theta$, oder die Dichte von $Q$ ist, d.h.
  $$Q(B)=\int\limits_{B}q(\theta)\,d\theta\,,\qquad\forall B\in\mathcal{B}(\Theta)\,.$$

• Die Familie $\{P_\theta,\,\theta\in\Theta\}$ der (potentiell möglichen) Verteilungen der Stichprobenvariablen $X_1,\ldots,X_n$ kann ebenfalls (so wie bisher stets angenommen) entweder eine Familie diskreter Verteilungen oder eine Familie absolutstetiger Verteilungen sein.

Definition

$\;$ (a-posteriori-Verteilung) 

• Die in Abschnitt 2.2.2 eingeführte Likelihood-Funktion $L:\mathbb{R}^n\times\Theta\to[0,\infty)$ mit

  $$L(x_1,\ldots,x_n;\theta)= \left\{\begin{array}{ll} p(x_1;\theta)... ...heta)\ldots f(x_n;\theta) & \mbox{im absolutstetigen Fall} \end{array}\right.$$ (17)

  
  
  sei Borel-messbar in sämtlichen $n+m$ Argumenten $x_1,\ldots,x_n$ und $\theta=(\theta_1,\ldots,\theta_m)$, weil jetzt auch $\theta$ als Variable aufgefasst wird.
• Für jeden (Daten-) Vektor $(x_1,\ldots,x_n)\in \mathbb{R}^n$, für den $f(x_1,\ldots,x_n)>0$ gilt, wobei

  $$f(x_1,\ldots,x_n)=\left\{\begin{arra... ... \,q(\theta)\,d\theta\,, & \mbox{falls $Q$\ absolutstetig,} \end{array}\right.$$ (18)

  
  
  heißt dann die Funktion $q_{(x_1,\ldots,x_n)}:\Theta\to[0,\infty)$ mit

  $$q_{(x_1,\ldots,x_n)}(\theta)=\frac{L(x_1,\ldots,x_n;\theta) \,q(\theta)}{f(x_1,\ldots,x_n)}$$ (19)

  
  
  a-posteriori-Wahrscheinlichkeitsfunktion bzw. a-posteriori-Dichte von $\widetilde\theta$; bei Vorliegen der (konkreten) Stichprobe $(x_1,\ldots,x_n)$.

Beachte

$\;$ Die Funktion $q_{(x_1,\ldots,x_n)}:\Theta\to[0,\infty)$ kann als bedingte Wahrscheinlichkeitsfunktion bzw. bedingte Dichte von $\widetilde\theta$ angesehen werden, unter der Bedingung, dass $(X_1,\ldots,X_n)=(x_1,\ldots,x_n)$, denn

• die Likelihood-Funktion $L(x_1,\ldots,x_n;\theta)$ können wir als bedingte Wahrscheinlichkeitsfunktion bzw. bedingte Dichte von $(X_1,\ldots,X_n)$ ansehen, unter der Bedingung, dass $\widetilde\theta=\theta$,
• das Produkt $L(x_1,\ldots,x_n;\theta) \,q(\theta)$ als die gemeinsame (unbedingte) Wahrscheinlichkeitsfunktion bzw. Dichte des Zufallsvektors $(X_1,\ldots,X_n,\widetilde\theta)$, und
• die in (18) gegebene Funktion $f(x_1,\ldots,x_n)$ als die (Rand-) Wahrscheinlichkeitsfunktion bzw. Dichte von $(X_1,\ldots,X_n)$.

Definition

$\;$ (Bayes-Schätzer) 

• Die Funktion $q_{(x_1,\ldots,x_n)}:\Theta\to[0,\infty)$ kann nun zur Konstruktion von Punktschätzern für den unbekannten Parameter genutzt werden.
• Dabei verallgemeinern wir den in Abschnitt 2.1 eingeführten Begriff des Punktschätzers, indem wir den Zufallsvektor $\varphi(X_1,\ldots,X_n)$ für jede Borel-messbare Abbildung $\varphi:\mathbb{R}^n\to\mathbb{R}^m$ als Punktschätzer für $\theta$ auffassen, wobei nicht notwendigerweise $\varphi(\mathbb{R}^n)\subset\Theta$ gelten muss.
• Falls $m=1$, dann kann beispielsweise der Erwartungswert

  $$\,\widehat\theta(x_1,\ldots,x_n)=\le... ...)}(\theta) \,d\theta\,, & \mbox{falls $Q$\ absolutstetig,} \end{array}\right.$$ (20)

  
  
  betrachtet und $\,\widehat\theta(X_1,\ldots,X_n)$ als Bayes-Schätzer des unbekannten Parameters angesehen werden.

Man kann zeigen (vgl. Übungsaufgabe WR-8.3), dass der in (20) gegebene Schätzwert $\,\widehat\theta(x_1,\ldots,x_n)$ den mittleren quadratischen Fehler

$$g_{(x_1,\ldots,x_n)}(a)=\left\{\begi... ...(\theta) \,d\theta\,, & \mbox{falls $Q$\ absolutstetig,} \end{array}\right.$$

minimiert, d.h., es gilt $g_{(x_1,\ldots,x_n)}(a)\ge g_{(x_1,\ldots,x_n)}(\,\widehat\theta(x_1,\ldots,x_n))$ für jedes $a\in\mathbb{R}$, vgl. auch Abschnitt 2.3.1.

Beachte

 

• Sei $\varphi:\mathbb{R}^n\to\mathbb{R}$ eine beliebige Stichprobenfunktion.
• Anstelle der in (19) gegebenen a-posteriori Wahrscheinlichkeitsfunktion bzw. Dichte $q_{(x_1,\ldots,x_n)}$ von $\widetilde\theta$ betrachtet man dann auch die a-posteriori Wahrscheinlichkeitsfunktion bzw. Dichte $q_{y}:\Theta\to[0,\infty)$ von $\widetilde\theta$ unter der Bedingung, dass $\varphi(X_1,\ldots,X_n)=y$ für $y\in\mathbb{R}$.
• Dabei ist

  $$q_{y}(\theta)=\frac{f_{\theta,\varphi(X_1,\ldots,X_n)}(y) \,q(\theta)}{f_{\varphi(X_1,\ldots,X_n)}(y)}\;,$$ (21)

  
  
  wobei $f_{\theta,\varphi(X_1,\ldots,X_n)}(y)$ die Wahrscheinlichkeitsfunktion bzw. Dichte von $\varphi(X_1,\ldots,X_n)$ für eine vorgegebene Verteilung $P_\theta$ der Stichprobenvariablen $X_1,\ldots,X_n$ bezeichnet und
  $$f_{\varphi(X_1,\ldots,X_n)}(y)=\left... ...q(\theta) \,d\theta\,, & \mbox{falls $Q$\ absolutstetig,} \end{array}\right.$$
  die ,,unbedingte'' Wahrscheinlichkeitsfunktion bzw. Dichte von $\varphi(X_1,\ldots,X_n)$ ist.

Beispiel

$\;$ (Bernoulli-verteilte Stichprobenvariablen)

• Betrachten die Familie $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(1,p),\,p\in[0,1]\}$ der Bernoulli-Verteilungen.
• Die a-priori-Verteilung von $\widetilde p:\Omega\to[0,1]$ sei die Betaverteilung Beta $(\alpha,\beta)$, wobei die Parameter $\alpha,\beta>0$ vorgegeben seien.
• Die a-priori-Dichte $q:[0,1]\to(0,\infty)$ von $\widetilde p$ ist also gegeben durch

  $$q(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}\,, \qquad\forall\,p\in[0,1]\,.$$ (22)

  
  

• Wir betrachten die Stichprobenfunktion $Y=\sum_{i=1}^n X_i$, d.h., $Y$ ist die Anzahl der ,,Erfolge'' bei $n$ Versuchen.
• Dann gilt für jedes $p\in[0,1]$
  $$f_{p,Y}(y)={n\choose y}p^y(1-p)^{n-y}\,,\qquad\forall\, y\in\{0,1,\ldots,n\}$$
  und somit
  $$f_Y(y)=\int\limits_0^1 f_{p,Y}(y) q(p)\,dp={n\choose y}\frac{\Ga... ...-y+\beta)}{\Gamma(n+\alpha+\beta)}\,,\qquad\forall\, y\in\{0,1,\ldots,n\}\,.$$

• Für die a-posteriori Dichte $q_{y}:[0,1]\to[0,\infty)$ von $\widetilde p$ ergibt sich hieraus, dass
  $$q_y(p)=\frac{f_{p,Y}(y)q(p)}{f_Y(y)}= \frac{\Gamma(n+\alpha+\beta)}{\Gamma(y+\alpha)\Gamma(n-y+\beta)}\; p^{y+\alpha-1}(1-p)^{n-y+\beta-1}$$
  für beliebige $y\in\{0,1,\ldots,n\}$ und $p\in[0,1]$.
• Dies ist die Dichte der Betaverteilung Beta $(y+\alpha,n-y+\beta)$.
• Für den Erwartungswert $\widetilde p(y)$ dieser Verteilung gilt
  $$\widetilde p(y)=\int\limits_0^1 p\,q_y(p)\,dp=\frac{y+\alpha}{\alpha+\beta+n}\;.$$

• Dies ergibt den Bayes-Schätzer $\widetilde p(Y)$ mit
  $$\widetilde p(Y) = \frac{Y+\alpha}{\alpha+\beta+n}$$
  bzw.

  $$\widetilde p(Y) = \frac{n}{\alpha+\beta+n}\;\frac{Y}{n}+\frac{\alpha+\beta}{\alpha+\beta+n}\; \frac{\alpha}{\alpha+\beta}\;.$$ (23)

  
  

• Der Bayes-Schätzer $\widetilde p(Y)$ ist also eine Linearkombination
  1. des Erwartungswertes $\alpha/(\alpha+\beta)$ der a-priori-Verteilung von $\widetilde p$, der ein natürlicher Schätzer wäre, wenn wir über keinerlei Daten verfügen würden, und
  2. des Stichprobenmittels $Y/n$, das ein natürlicher Schätzer wäre, wenn keine a-priori-Verteilung von $\widetilde p$ zur Verfügung stehen würde.