Марковский дискретный случайный процесс с непрерывным временем (1)

1. Марковский дискретный случайный процесс с непрерывным временем.

2.

Помимо случайных процессов с дискретным временем на практике достаточно часто
встречаются случайные процессы с непрерывным временем, при которых система может
менять свои состояния в любой случайный момент времени .
Случайный процесс протекающий в системе S называется процессом с непрерывным
временем, если её переходы из состояния в состояние возможны в любые заранее
неизвестные случайные моменты времени.
Пусть S1 ,...., S n — всевозможные состояния системы S.
Вероятность pi p(S i (t)) где i = 1, n ; t ≥ 0 события S i (t ) состоящего в том, что система S
в момент времени t находится в состоянии Si (t ) называется вероятностью i-ого состояния в
момент времени t.
Таким образом вероятность состояния pi (t ) является, таким образом, вероятностной
функцией времени t ≥ 0.
Марковский дискретный случайный процесс с непрерывным временем считается
изученным, если определены все вероятности состояний pi (t )(i 1, n) .
Т.к. в любой момент времени t система S будет находиться в одном из состояний S1 , S2 ,...., Sn
то события Si (t )(i 1, n) несовместные и образуют полную группу. Поэтому имеет место
нормировочное условие:
n
p 1
j 1
ij

3.

Пусть pij (t ) вероятности перехода системы S в момент времени t из состояния Si в
состояние S j при i ≠ j и S ii вероятности задержки в момент времени t в состоянии Si при i=j.
Если в момент времени t система находится в i-ом состоянии, то можно считать, что
точно в этот же момент времени t произошла задержка системы в i-ом состоянии, поэтому
pii (t) 1
Следовательно, из-за соображения выполнения нормировочного условия: pi1 (t ) pin (t ) 1
заключаем, что вероятность перехода системы S из i-ого состояния, в другое j-ое состояние
точно в момент времени t будет = 0 (pij (t)i j 0)
Поэтому вероятности перехода в случае процесса с непрерывным временем уже не играет
той определяющей роли.
Вместо переходных вероятностей в процессе с непрерывным временем рассматривают
иные характеристики процесса — так называемые плотности вероятностей перехода ij
из состояния Si в состояние S j которые определяются следующим образом.
∆t
t
0
t
t+∆t
Обозначим pij (t , t )(i j 1, n, t 0) вероятность того, что система S находившаяся в
момент времени t в состоянии Si за промежуток времени [t; t+∆t] перейдет из него в другое
состояние S j .

4.

Если известно, что система в момент времени t не может находиться в состоянии Si или
она в момент времени t находится в состоянии S j но за промежуток времени ∆t не может
изменять своего состояния, то pij (t, Δt) 0, (i j) .
Для (i= j) обозначения pii (t , t ) есть вероятность того, что система за промежуток
времени [t; t+∆t] перешла из i-ого состояния в i-ое , то есть из i-ого состояния не перешла
ни в какое другое и следовательно pii (t , t ) 0, (i j ) .
Плотностью вероятности перехода системы S из состояния Si в состояние S j в
момент времени t называется величина:
λij lim
Δt 0
И следовательно:
pij (t, Δt)
Δt
(i, j 1, n , Δt 0)
pij (t, Δt)Δt 0 λij (t) Δt
Из определения плотности вероятности перехода , видно, что они в общем случае
зависят от времени t, неотрицательны и в отличие от вероятностей перехода pij (t ) могут
быть больше 1, но λii (t) 0, (i 1, n )
Если при любом (i j 1, n) плотности вероятностей перехода не зависит от времени t и
тогда вместо (λij (t) λij ) , то марковский процесс с непрерывным временем называется
однородным.

5.

Если хотя бы при одной паре значений (i ≠ j) плотность вероятности перехода ij
является функцией времени (t), то процесс называется неоднородным.
Рассмотрим далее однородный дискретный марковский процесс с непрерывным
временем.
Граф состояний марковского однородного случайного процесса с непрерывным
временем у стрелок которого проставлены плотности вероятности переходов ijназывается
размеченным.
Пример. На рисунке изображен размеченный граф состояний системы, в которой
протекает процесс с непрерывным временем.
12
S1
41
13
S3
34
S2
24
42
S4

6.

Отсутствие на графе стрелок из одних состояний в другие означает, что плотности
вероятностей соответствующих переходов равна нулю. Например, λ21 =0.
Поскольку плотности вероятностей переходов снабжены двумя индексами, то их
удобно расположить в виде матрицы
λ11
λ21
Λ
...
λ
n1
где λ11 = λ22 =…= λnn = 0.
λ12
λ22
...
λn2
... λ1n
... λ2n ,
... ...
... λnn

7.

Зная плотности вероятностей перехода λij , можно составить систему
дифференциальных уравнений относительно вероятностей состояний pi (t ) , а именно
справедлива следующая теорема.
Теорема 4.1. Вероятности состояний pi (t ) (неизвестные вероятностные функции)
являются решением следующей системы дифференциальных уравнений.
n
n
dpi
λij pi (t) λ ji p j (t)
dt
j 1
j 1
– система Колмогорова
Составить систему дифференциальных уравнений Колмогорова удобно по одному из
следующих двух правил.

8.

I правило составления дифференциальных уравнений Колмогорова по
размеченному графу состояний.
Для того чтобы составить дифференциальное уравнение Колмогорова для функции pi (t )
dpi (t)
надо в левой части этого уравнения записать производную
функции pi (t ) , а в
dt
правой - произведение со знаком минус суммы плотностей вероятностей переходов λij у
стрелок, выходящих из состояния si на вероятность pi (t ) этого состояния, плюс сумму
произведений плотностей вероятностей переходов λji , соответствующих стрелкам
входящих в состояние si , на вероятности состояний p j (t ) из которых эти стрелки
выходят. При этом, плотности вероятностей переходов λij , соответствующие
отсутствующих на графе стрелкам, равны нулю.

9.

Пример. Система дифференциальных уравнений Колмогорова, составленная по
размеченному графу на рисунке, который находится на слайде №5, будет выглядеть
следующим образом:
dp1 (t)
dt λ12 λ13 p1 t λ41 p4 t ,
dp (t)
2 λ24 p2 t λ12 p1 t λ42 p4 t ,
dt
dp (t)
3 λ31 p3 t λ13 p1 t ,
dt
dp4 (t)
dt λ41 λ42 p4 t λ24 p2 t λ34 p3 t

10.

II правило составления дифференциальных уравнений Колмогорова по
по матрице плотностей вероятностей переходов.
Для того чтобы составить дифференциальное уравнение Колмогорова для
dpi (t)
p
(t
)
функции i
надо в левой части этого уравнения записать производную
dt
функции pi (t ) , а в правой- произведение со знаком минус суммы элементов λij i-ой
строки матрицы Λ на вероятность pi (t ) состояния si (номер которого совпадает с
номером взятой строки), плюс сумма произведений элементов λji i-ого столбца на
соответствующие им вероятности p j (t )

11.

Пример. Система дифференциальных уравнений Колмогорова, составленная,
например, по матрице плотностей вероятностей переходов:
0 2 3
6 0 0
1.5 4 0
имеет следующий вид:
dp1 (t )
dt 5 p1 t 6 p2 t 1,5 p3 t ,
dp (t )
2
6 p2 t 2 p1 t 4 p3 t ,
dt
dp3 (t ) 5,5 p t 3 p t
3
1
dt

12.

Начальные условия системы дифференциальных уравнений Колмогорова
определяются заданным распределением вероятностей состояний системы в начальный
момент времени t=0: p1 0 ,..., pn 0 ,удовлетворяющих нормировочному условию
n
p t 1 .Если в начальный момент времени система S находится в состоянии
sm , m 1,..., n , то из нормировочного условия получаем такое начальное
t 1
i
распределение вероятностей:
p1 0 0,..., pm 1 0 0, pm 0 1, pm 1 0 0,..., pn 0 0
Систему дифференциальных уравнений первого порядка, разрешенных относительно
входящих в нее производных искомых функций, называют системой, имеющей
нормальную форму Коши, а задачу нахождения неизвестных функций этой системы,
удовлетворяющих указанным выше начальным условиям,- задачей Коши.
Таким образом, для системы дифференциальных уравнений Колмогорова , имеющих
нормальную форму Коши, ставится задача Коши.