328.75K

Марковские цепи

1.

ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ
ЦЕПЕЙ МАРКОВА
Подготовили Левонюк В.В., Крень И.Н.,
студенты 3 курса ПМ

2.

1. Марковское свойство. Определение
Определение. Случайный процесс X(t) называется марковским, если для любых t > s и состояний i, j
вероятность состояния в момент t при условии текущего состояния не зависит от значений процесса в
более ранние моменты.
P{X(t1)=i | X(t2)=j, X(s)=x(s), 0≤s<t2} = P{X(t1)=i | X(t2)=j}
Определение. Марковский процесс называется однородным, если переходные вероятности зависят
только от промежутка времени t1−t2, а не от конкретных моментов t1 и t2.
P{X(t1)=i | X(t2)=j} = pᵢⱼ(t1−t2)
3

3.

2. Переходные вероятности
Определение. Переходной вероятностью из состояния i в состояние j за время t называют вероятность
того, что процесс, начавшийся в состоянии i, окажется в состоянии j спустя время t:
pᵢⱼ(t) = P{X(t)=j | X(0)=i}
Для всех состояний i, j и t ≥ 0 выполняются условия:
English     Русский Правила