Zustandsraum, Anfangsverteilung und
Übergangswahrscheinlichkeiten
Das stochastische Modell der zeitdiskreten Markov-Ketten (mit
endlich vielen Zuständen) besteht aus den drei Komponenten:
Zustandsraum, Anfangsverteilung und Übergangsmatrix.
Den Ausgangspunkt bildet die (endliche) Menge aller möglichen
Zustände, die Zustandsraum der Markov-Kette genannt wird und
die o.B.d.A. mit der Menge
identifiziert
werden kann, wobei
eine beliebige,
jedoch fest vorgegebene natürliche Zahl ist.
Für jedes sei die Wahrscheinlichkeit, dass
sich das betrachtete Objekt, Sachverhalt bzw. System zum
,,Zeitpunkt'' im Zustand befindet, wobei
(1)
vorausgesetzt wird. Der Vektor
der (Einzel-)
Wahrscheinlichkeiten
bildet die Anfangsverteilung der Markov-Kette.
Außerdem betrachten wir für jedes Paar die (bedingte)
Wahrscheinlichkeit
, dass das betrachtete Objekt,
Sachverhalt bzw. System in einem Schritt aus dem Zustand in
den Zustand übergeht.
Die
Matrix
der Übergangswahrscheinlichkeiten mit
(2)
heißt (einstufige) Übergangsmatrix der Markov-Kette.
Für jede Menge
, für jeden Vektor
bzw. jede Matrix
, die den Bedingungen (1) und
(2) genügen, kann nun der Begriff der zugehörigen
Markov-Kette wie folgt eingeführt werden.
Definition
Sei
eine Folge von Zufallsvariablen,
die über einunddemselben Wahrscheinlichkeitsraum
definiert sind und ihre Werte in der Menge
annehmen.
Dann heißt
(homogene) Markov-Kette mit der
Anfangsverteilung
und der Übergangsmatrix
, falls
(3)
für beliebige
und
gilt.
Beachte
Eine quadratische Matrix
, die der Bedingung
(2) genügt, wird stochastische Matrix genannt.
Durch das folgende Theorem 2.1 wird die intuitive
Bedeutung der Bedingung (3) deutlich, insbesondere
die Wortwahlen ,,Anfangsverteilung'' und ,,Übergangsmatrix''.
Außerdem ergibt sich aus Theorem 2.1 noch eine
andere (äquivalente) Definitionsmöglichkeit von Markov-Ketten, die
in der Literatur oft verwendet wird.
Theorem 2.1
Die Folge von -wertigen Zufallsvariablen ist genau
dann eine Markov-Kette, wenn es eine stochastische Matrix
gibt, so dass
(4)
für beliebige
und
mit
.
Beweis
Die Notwendigkeit der Bedingung (4) ist
offensichtlich, denn die Gültigkeit von (4) ergibt
sich unmittelbar aus (3) und aus der Definition
bedingter Wahrscheinlichkeiten; vgl. Abschnitt WR-2.6.1.
Wir nehmen nun umgekehrt an, dass eine Folge von
-wertigen Zufallsvariablen ist, so dass es eine stochastische
Matrix
gibt, für die die Bedingung
(4) erfüllt ist.
Wir setzen
für jedes und erkennen,
dass die Bedingung (3) für offenbar erfüllt
ist.
Aus den elementaren Monotonieeigenschaften von
Wahrscheinlichkeitsmaßen folgt (vgl. Teilaussage 2 in
Theorem WR-2.1), dass
die Gültigkeit von
impliziert.
Falls andererseits
,
dann gilt
Hieraus folgt, dass (3) auch für und somit
für jedes
gilt.
die bedingte Verteilung des (zufälligen) Zustandes der
Markov-Kette zum ,,Zeitpunkt'' vollständig durch
den Zustand
zum vorhergehenden Zeitpunkt
bestimmt wird,
wobei diese Verteilung nicht von den Zuständen
abhängt, die die
Markov-Kette in der weiter zurückliegenden Vergangenheit
angenommen hat.
Unmittelbar aus der Definition bedingter Wahrscheinlichkeiten
ergibt sich,
wobei die bedingte Unabhängigkeitseigenschaft
(6) die Markov-Eigenschaft von
genannt wird.
Die Definitionen und Aussagen des Abschnittes 2.1.1
bleiben praktisch unverändert,
wenn anstelle des endlichen Zustandsraumes
ein (abzählbar) unendlicher Zustandsraum betrachtet wird,
beispielsweise die Menge
sämtlicher natürlichen Zahlen
bzw. die Menge
der ganzen Zahlen.
Es ist lediglich zu beachten, dass dann
bzw.
unendlich viele Komponenten bzw. Eintragungen haben.