Durch (51) ist ein parametrisches Modell für
die Verteilung des Vektors
der
Stichprobenvariablen
gegeben.
Außer der Methode der kleinsten Quadrate, die in
Abschnitt 3.1 diskutiert worden ist, kann nun auch
die Maximum-Likelihood-Methode zur Gewinnung von Schätzern für die
unbekannten Modellparameter
und verwendet
werden.
Wir suchen Schätzer
,
für
, , so daß mit Wahrscheinlichkeit
(56)
bzw. äquivalent hierzu
(57)
Beachte
Die Minimierung in (56) bzw.
(57) kann in zwei Schritten erfolgen: zuerst
bezüglich
und dann bezüglich . Der erste
Schritt wurde bereits in Abschnitt 3.1.2
diskutiert. Wir geben hier jedoch noch einen weiteren
(alternativen) Beweis an.
Theorem 3.10
Die Lösung des Maximierungsproblems
bzw.
ist eindeutig bestimmt und gegeben durch
(58)
bzw.
(59)
Beweis
Für beliebige, jedoch fest vorgegebene
und
betrachten wir zunächst die Abbildung
(60)
Diese Abbildung ist stetig (und somit lokal beschränkt), und es
gilt
Hieraus folgt, daß die in (60) gegebene Abbildung
ein oder mehrere globale Maxima besitzt.
Für jedes globale Maximum der in (60) gegebene
Abbildung gilt somit
Diese Gleichung ist äquivalent mit
bzw.
.
Die in (60) gegebene Abbildung besitzt somit das
eindeutig bestimmte globale Maximum
,
das nicht von abhängt.
Für jedes (fest vorgegebene)
betrachten wir nun
die Abbildung
(61)
Diese Abbildung ist stetig, und es gilt offenbar
Weil vorausgesetzt wird, gilt außerdem
mit Wahrscheinlichkeit
und somit
für fast jedes
.
Für fast jedes
besitzt also die in
(61) gegebene Abbildung mindestens ein globales
Maximum in
.
Für jedes dieser Maxima gilt
Die (eindeutig bestimmte) Lösung dieser Gleichung ist
Beachte
Der in Theorem 3.10 hergeleitete ML-Schätzer
für
stimmt mit dem in
Theorem 3.2 hergeleiteten MKQ-Schätzer überein.
Der ML-Schätzer
für unterscheidet
sich von dem in Abschnitt 3.1.4 betrachteten
(erwartungstreuen) Schätzer für um einen
konstanten Proportionalitätsfaktor, denn es gilt
Außer der bereits in (52) erwähnten
Normalverteilungseigenschaft
des
ML-Schätzers
läßt sich auch die Verteilung von
bestimmen.
Hierfür benötigen wir einige allgemeine Eigenschaften von linearen
und quadratischen Formen von Zufallsvariablen, die wir zunächst in
dem folgenden Abschnitt diskutieren.