Momenten-Methode

• Die Momentenmethode ist eines der ältesten Verfahren zur Gewinnung von Schätzern für die unbekannten Komponenten des Parametervektors $\theta=(\theta_1,\ldots,\theta_m)$.
• Sie wurde von Karl Pearson (1857-1936) gegen Ende des 19. Jahrhunderts eingeführt und
• beruht auf dem Vergleich von Momenten der Stichprobenvariablen $X_1,\ldots,X_n$ mit den entsprechenden empirischen Momenten der konkreten Stichprobe $x_1,\ldots,x_n$.

Modellannahmen

 

• Es gelte ${\mathbb{E}\,}_\theta (\vert X_1\vert^r)<\infty$ für jedes $\theta\in\Theta$ und für eine natürliche Zahl $r\ge m$.
• Außerdem wird angenommen, dass für jedes $k=1,\ldots,r$ das $k$-te Moment

  $$\mu_k={\mathbb{E}\,}_\theta (X_1^k)$$ (2)

  
  
  der Stichprobenvariablen $X_1,\ldots,X_n$ eine (bekannte) Funktion des Parametervektors $\theta=(\theta_1,\ldots,\theta_m)$ ist.
• Für jedes $k=1,\ldots,r$ gebe es also eine Borel-messbare Funktion $g_k:\Theta\to\mathbb{R}$, so dass

  $$\mu_k=g_k(\theta)\,,\qquad\forall\,\theta\in\Theta\,.$$ (3)

  
  

Lösungsansatz

 

1. Für jedes $k\in\{1,\ldots,r\}$ bestimmen wir das $k$-te empirische Moment $\widehat m_k=\widehat m_k(x_1,\ldots,x_n)$ der konkreten Stichprobe $(x_1,\ldots,x_n)$, wobei
   $$\,\widehat m_k(x_1,\ldots,x_n)=\frac{1}{n}\sum\limits _{i=1}^n x_i^k\,.$$

2. Danach bilden wir das Gleichungssystem

   $$\,\widehat m_k(x_1,\ldots,x_n)=g_k(\theta)\,,\qquad k\in\{1,\ldots,r\}$$ (4)

   
   
   mit dem unbekannten Vektor $\theta=(\theta_1,\ldots,\theta_m)$.
3. Es wird vorausgesetzt, dass dieses Gleichungssystem für jedes $(x_1,\ldots,x_n)\in \mathbb{R}^n$ eine eindeutig bestimmte Lösung $\,\widehat\theta(x_1,\ldots,x_n)\in\Theta$ besitzt, die von der konkreten Stichprobe $(x_1,\ldots,x_n)$ abhängt, und dass
4. die Abbildung $\,\widehat\theta:\mathbb{R}^n\to\Theta$ mit

   $$(x_1,\ldots,x_n)\to\,\widehat\theta(x_1,\ldots,x_n)\,,$$ (5)

   
   
   die den Stichprobenraum $\mathbb{R}^n$ in den Parameterraum $\Theta\subset\mathbb{R}^m$ abbildet, Borel-messbar ist, d.h., $\,\widehat\theta$ ist eine Stichprobenfunktion.

Definition

$\;$ Der durch (5) gegebene Zufallsvektor $\,\widehat\theta(X_1,\ldots,X_n)$ heißt M-Schätzer des Parametervektors $\theta$, wobei in (5) die Zufallsstichprobe $(X_1,\ldots,X_n)$ anstelle der konkreten Stichprobe $(x_1,\ldots,x_n)$ eingesetzt wird.

Beachte

 

• Mit Hilfe des starken Gesetzes der großen Zahlen kann die folgende Begründung für die Anwendung der Momentenmethode gegeben werden.
• Für das empirische Moment $\,\widehat m_k(X_1,\ldots,X_n)$ der Zufallsstichprobe $(X_1,\ldots,X_n)$ gilt

  $$\,\widehat m_k(X_1,\ldots,X_n)=\frac{1}{n}\sum\limits_{i=1}^n X_i^k\stackrel{{\rm f.s.}}{\longrightarrow}\mu_k\,,\qquad\forall\,k=1,\ldots,r\,,$$ (6)

  
  
  falls $n\to\infty$; vgl. Theorem WR-5.15.
• Falls die in (3) gegebene Abbildung $g=(g_1,\ldots,g_m):\Theta\to C$ mit $C=g(\Theta)=\{g(\theta):\,\theta\in\Theta\}\subset\mathbb{R}^m$ eineindeutig ist und falls die Umkehrabbildung $g^{-1}:C\to\Theta$ stetig ist, dann gilt wegen (6) für den M-Schätzer $\,\widehat\theta(X_1,\ldots,X_n)$, dass für jedes $\theta\in\Theta$ mit Wahrscheinlichkeit 1

  $$\lim\limits_{n\to\infty}\,\widehat\theta(X_1,\ldots,X_n)=\theta\,.$$ (7)

  
  

• Diese (asymptotische) Güteeigenschaft des Schätzers $\,\widehat\theta(X_1,\ldots,X_n)$ wird starke Konsistenz genannt.
• Weitere Güteeigenschaften von M-Schätzern werden wir in Abschnitten 2.3 und 2.4 diskutieren.

Beispiele

 

1. $\;$ Normalverteilte Stichprobenvariablen 
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{$N $(\mu,\sigma^2),\,\mu\in\mathbb{R},\, \sigma^2> 0\}$.
   • Dabei nehmen wir an, dass beide Komponenten $\mu$ und $\sigma^2$ des Vektors $(\mu,\sigma^2)$ unbekannt sind.
   • Dann ist $m=2$ mit $\Theta=\mathbb{R}\times(0,\infty)$ und $\theta=(\theta_1,\theta_2)=(\mu,\sigma^2)$.
   • Außerdem gilt $g_1(\mu,\sigma^2)=\mu$ und $g_2(\mu,\sigma^2)=\sigma^2+\mu^2$.
   • Das Gleichungssystem (4) hat also die Form
     $$\frac{1}{n}\sum\limits _{i=1}^n x_i = \mu\,,\qquad \frac{1}{n}\sum\limits _{i=1}^n x_i^2 = \sigma^2+\mu^2\,.$$

   • Hieraus ergibt sich die Lösung $\,\widehat\theta=(\,\widehat\mu,\,\widehat\sigma^2)$ mit
     $$\,\widehat\mu=\frac{1}{n}\sum\limits _{i=1}^n x_i$$
     und
     

     $$\,\widehat\sigma^2 = \Bigl(\frac{1}{n}\sum\limits _{i=1}^n x_i^2\Bigr) - \Bigl(\frac{1}{n}\sum\limits _{i=1}^n x_i\Bigr)^2$$

     $$= \frac{1}{n}\Bigl(\Bigl(\sum\limits _{i=1}^n x_i^2\Bigr) - n\Bigl(... ...r)^2\Bigr) = \frac{1}{n}\sum\limits _{i=1}^n \bigl(x_i-\overline x_n\bigr)^2\,,$$

     
     
     wobei sich die letzte Gleichheit aus der Darstellungsformel (1.15) der Stichprobenvarianz ergibt, die in Abschnitt 1.2.2 hergeleitet wurde.
   • Bei normalverteilten Stichprobenvariablen $X_1,\ldots,X_n$ ergeben sich somit die M-Schätzer

     $$\,\widehat\mu(X_1,\ldots,X_n) = \frac{1}{n}\sum\limits _{i=1}^n X_i$$ (8)

     
     
     und

     $$\,\widehat\sigma^2(X_1,\ldots,X_n) = \frac{1}{n}\sum\limits _{i=1}^n \bigl(X_i-\overline X_n\bigr)^2$$ (9)

     
     
     für die unbekannten Modellparameter $\mu$ bzw. $\sigma^2$.
2. $\;$ Binomialverteilte Stichprobenvariablen 
   • Es gelte nun $\{P_\theta,\,\theta\in\Theta\}=\{$Bin $(k,p),\,k\in\mathbb{N},\, p\in[0,1]\}$.
   • Dabei nehmen wir erneut an, dass beide Komponenten $k$ und $p$ des Parametervektors $(k,p)$ unbekannt sind.
   • Dann ist $m=2$ und $\Theta=\mathbb{N}\times[0,1]$ mit $\theta=(\theta_1,\theta_2)=(k,p)$.
   • Außerdem ist
     $$g_1(k,p)=kp$$   und$$\qquad g_2(k,p)=kp(1-p)+k^2p^2\,.$$

   • Das Gleichungssystem (4) hat also die Form
     $$\frac{1}{n}\sum\limits _{i=1}^n x_i = kp\,,\qquad \frac{1}{n}\sum\limits _{i=1}^n x_i^2 = kp(1-p)+k^2p^2\,.$$

   • Durch Einsetzen der ersten Gleichung in die zweite Gleichung ergibt sich, dass
     $$\frac{1}{n}\sum\limits_{i=1}^n x_i^2=\overline x_n(1-p)+\overline x_n^2\,.$$

   • Falls nicht sämtliche Stichprobenwerte $x_1,\ldots,x_n$ gleich Null sind, dann ergibt sich hieraus die Lösung $\,\widehat\theta=(\,\widehat k,\,\widehat p )$ mit
     $$\widehat k= \frac{\overline x_n}{\,\widehat p}$$
     und
     $$\widehat p=\frac{\overline x_n- \displaystyle\frac{1}{n}\Bigl(\s... ...{1}{n}\sum\limits_{i=1}^n \bigl(x_i-\overline x_n\bigr)^2}{\overline x_n}\;,$$
     wobei sich die letzte Gleichheit erneut aus der Darstellungsformel (1.15) der Stichprobenvarianz ergibt.
   • Bei binomialverteilten Stichprobenvariablen $X_1,\ldots,X_n$ ergeben sich also die M-Schätzer

     $$\,\widehat k(X_1,\ldots,X_n) =\frac{\overline X_n^2}{\overline X_n- \displaystyle\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline X_n)^2}$$ (10)

     
     
     und

     $$\,\widehat p(X_1,\ldots,X_n) =\frac{\overline X_n}{\,\widehat k(X_1,\ldots,X_n)}$$ (11)

     
     
     für die unbekannten Modellparameter $k$ bzw. $p$, falls $(X_1,\ldots,X_n)\not=(0,\ldots,0)$.

   
   

3. $\;$ Gammaverteilte Stichprobenvariablen 
   • Es gelte $\{P_\theta,\,\theta\in\Theta\}=\{\Gamma(b,p),\,b>0,\, p>0\}$.
   • Dann ist $m=2$ und $\Theta=(0,\infty)^2$ mit $\theta=(\theta_1,\theta_2)=(b,p)$.
   • Aus Theorem 1.5 folgt, dass
     $$\mu_1=\frac{p}{b}\;,\qquad\mu_2=\frac{p(p+1)}{b^2}\;.$$

   • Hieraus ergibt sich das Geichungssystem
     $$\,\widehat m_1=\frac{p}{b}\;,\qquad\,\widehat m_2=\frac{p(p+1)}{b^2}$$
     mit der Lösung
     $$\,\widehat b=\frac{\,\widehat m_1}{\,\widehat m_2-\bigl(\,\wideha... ...bigl(\,\widehat m_1\bigr)^2}{\,\widehat m_2-\bigl(\,\widehat m_1\bigr)^2}\;.$$

Beachte

 

• Es gibt Beispiele parametrischer Verteilungsfamilien, so dass das Gleichungssystem (4) für $r=m$ nicht eindeutig lösbar ist, für $r>m$ jedoch eine eindeutig bestimmte Lösung besitzt.
• D.h., bei der Anwendung der Momentenmethode kann die Anzahl der zu betrachtenden Momente $\mu_1,\ldots,\mu_r$ größer als die Anzahl der (unbekannten) Parameterkomponenten $\theta_1,\ldots,\theta_m$ sein, vgl. die Übungsaufgabe 6.2.b.