Элементы теории случайных процессов

1.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Помимо полезного регулярного сигнала в выходной
цепи приемника наблюдается хаотический сигнал со
случайными амплитудой, частотой и фазой - шум
приемника. На фоне шума становятся
неразличимыми малые полезные сигналы, т. е. шум
ограничивает возможности ПИ.
Случайным называется событие,
которое в результате проведения
эксперимента может произойти или не
произойти.
Случайная величина — это величина,
которая при повторных измерениях
принимает одно из заранее неизвестных
значений.
Основной характеристикой в теории вероятностей
является вероятность события (Р).
Оценка (приближенное значение P) вероятности
события (V) определяется выражением:
n
V
N
N – полное число случайных событий
n – число успешных событий

2.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Законы распределения случайных величин и их моменты
При N→∞ получим вероятность события
Интегральный закон распределения (F)
F(X ) P x X
n
P lim
N N
Дифференциальный закон распределения
(f(х)) для непрерывной случайной величины
Для случайной величины изменяющейся
дискретно
f ( x) fi ( x xi )
dF ( x)
f ( x)
dx
где
fi P x xi
i
Свойства законов распределения случайных
1. F ( ) 1 F ( xmax ) 1
1. f ( x) 0
2. F ( ) 0 F ( xmin ) 0
2. f ( x)dx 1
3. F ( x1 ) F ( x2 ) если x1 >x 2
3. P x1 x x2 f ( x)dx
x
x2
x1

3.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Законы распределения случайных величин и их моменты
Многомерные законы распределения
F ( X 1 , X 2 ,..., X n ) P( x1 X 1 ; x2 X 2 ;...; xn X n )
dF ( x1 , x2 , ... ,xn )
f ( x1 , x2 , ... ,xn )
dx1dx2 ...dxn
Начальные моменты законов распределения
s x s f ( x)dx =M x s
s – порядок момента
Наиболее важен в светотехнике начальный момент
первого порядка, который получил название
математическое ожидание и имеет несколько
обозначений
1 mx =M x x x xf ( x)dx
Физический смысл α1 – это среднее значение случайной величины

4.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Законы распределения случайных величин и их моменты
Центральные моменты законов распределения
s
s x mx f ( x)dx =M x mx
s
s – порядок момента
Для всех случайных величин μ1=0, поэтому наибольшее распространение получил
начальный момент второго порядка, названый дисперсией и квадратный корень
из нее - среднеквадратическое (среднеквадратичное) отклонение (σ, СКО)
2
2
2 M x mx Dx x x mx f ( x)dx
x Dx
2
Физический смысл СКО состоит в том, ее величине пропорционален разброс случайных
значений х относительно математического ожидания

5.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Законы распределения случайных величин и их моменты
Связь центральных и начальных моментов
При разложении
x mx по биному Ньютона получим:
s
s
s!
s
( 1)i msi s i
i 1 i !( s i )!
Связь дисперсии и математического ожидания с начальным моментом 2-го порядка
2
2 M x mx
2 M x 2 2 xmx mx2
2 2 mx2
Если случайное значение изменяется с течением времени, что характерно для сигналов на
выходе фотоприемников, то такие зависимости называются случайными процессами
Зависимости случайных процессов от времени, полученные при измерениях, называются
реализациями случайного процесса

6.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
m1x (t ) m2 x (t )
1x (t ) 2 x (t )

7.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
Корреляционная функция равна математическому ожиданию произведения
двух центрированных значений случайного процесса в моменты времени t1 и t2
Rx (t1 , t2 ) x1 mx (t1 ) x2 mx (t2 ) f ( x1 , x2 , t1 , t2 )dx1dx2
где f ( x1 , x2 , t1 , t2 ) двумерный закон распределения случайных величин x1 и x2 (значения
случайного процесса x в моменты времени t1 и t2), mx(t1), mx(t2) – значения математических
ожиданий x в моменты времени t1 и t2
Rx (t1 , t2 ) M x1 mx (t1 ) x2 mx (t2 )

8.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
Значение корреляционной функции позволяет в среднем предсказывать изменение случайных
реализаций с течением времени
R(t1 , t2 ) 0 x1 и x2 в среднем колеблются
относительно m(t) в фазе
R(t3 , t4 ) 0 x1 и x2 в среднем колеблются
относительно m(t) в противофазе
R(t1 , t2 ) 0 x1 и x2 в среднем колеблются
относительно m(t) независимо

9.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
Значения R(t1,t2) получают экспериментально, а затем аппроксимируют аналитическими
выражениями. Оказалось, что не всякую функцию можно использовать для такой аппроксимации,
т.к. из ее определения следует ряд свойств, которым она должна удовлетворять
Rx (t1 , t2 ) M x1 mx (t1 ) x2 mx (t2 )
1. Четность
Rx (t1 , t2 ) Rx (t2 , t1 )
2. Значение корреляционной функции в совпадающие моменты времени – это дисперсия
случайного процесса в этот момент времени
Rx (t1 , t1 ) Dx (t1 )

10.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
3. Добавление к случайному процессу X(t) любой неслучайной функции времени φ(t) не
изменяет его корреляционную функцию
Y (t ) X (t ) (t )
RY (t1 , t2 ) M Y (t1 ) mY (t1 ) Y (t2 ) mY (t2 )
mY (t ) M X (t ) (t )
mY (t ) M X (t ) M (t )
X (t1 ) (t1 ) mX (t1 ) (t1 )
RY (t1 , t2 ) M
X
(
t
)
(
t
)
m
(
t
)
(
t
)
2
2
X 2
2
RY (t1 , t2 ) M X (t1 ) mx (t1 ) X (t2 ) mx (t2 )
RY (t1 , t2 ) RX (t1 , t2 )
mY (t ) mX (t ) (t )

11.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
4. Абсолютное значение корреляционной функции всегда меньше, либо равно, среднего
геометрического значения дисперсий в соответствующие моменты времени
Рассмотрим тождество
M a 2 0
a R t1 , t1 X (t2 ) mX (t2 ) R t2 , t2 X (t1 ) m X (t1 )
2
M R t1 , t1 X (t2 ) mX (t2 )
2 M R t1 , t1 R t2 , t2 X (t1 ) mX (t1 ) X (t2 ) m X (t2 )
2
M R t2 , t2 X (t1 ) mX (t1 ) 0

12.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
4. Абсолютное значение корреляционной функции всегда меньше, либо равно, среднего
геометрического значения дисперсий в соответствующие моменты времени
R t1 , t1 R t2 , t2 2 R t1 , t1 R t2 , t2 R t1 , t2 R t2 , t2 R t1 , t1 0
R t1 , t1 R t2 , t2 R t1 , t2 R t1 , t1 R t2 , t2
R t1 , t1 R t2 , t2 0
R t1 , t1 R t2 , t2 0
R t1 , t2 R t1 , t1 R t2 , t2
R t1 , t2 R t1 , t1 R t2 , t2
R t1 , t2 R t1 , t1 R t2 , t2

13.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Корреляционная функция и ее свойства
5. Абсолютное значение корреляционной функции всегда меньше, либо равно, среднего
арифметического значения дисперсий в соответствующие моменты времени
a b 0
Рассмотрим тождество
2
2
a2 b
ab
2
a R(t1 , t1 )
b R(t2 , t2 )
R t1 , t2
R(t1 , t1 ) R (t2 , t2 )
R(t1 , t1 ) R (t2 , t2 )
2
R(t1 , t1 ) R(t2 , t2 )
2
6. У эргодических случайных процессов R(t1,t2) → 0 если (t1 - t2) → ∞

14.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Стационарность и эргодичность случайных процессов
Стационарными (в узком смысле) случайными процессами называют процессы, у которых
все многомерные функции плотности вероятностей не зависят от начала отсчета времени
f x(t1 ), x(t2 ), ... ,x(tn ) f ( x1 , x2 , ... ,xn ; t1 , t2 ... tn ) f ( x1 , x2 , ... ,xn ; t1 t0 , t2t1 t0 ... t nt1 t0 )
Стационарными (в широком смысле) случайными процессами называют процессы, у
которых одномерный и двумерный законы распределения не зависят от начала отсчета
времени
mx (t1 ) x f ( x; t )dx x f ( x; t t0 )dx
t0 t
mx (t ) x f ( x;0)dx mx
Rx (t1 , t2 ) x1 mx x2 mx f ( x1 , x2 ; t1 , t2 )dx1dx2
x1 mx x2 mx f ( x1 , x2 ; t1 t0 , t2 t0 )dx1dx2
t0 t1

15.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Стационарность и эргодичность случайных процессов
Rx (t1 , t2 ) x1 mx x2 mx f ( x1 , x2 ;0, t2 t1 )dx1dx2 Rx (t2 t1 ) t2 t1 Rx (t1 , t2 ) Rx ( )
Стационарные процессы, у которых Rx ( ) 0 при τ→∞ называются эргодическими процессами
Для эргодических процессов вычисление математического ожидания можно проводить путем
усреднения по времени вдоль одной длинной реализации (ее длительность Т→∞)
T
2
1
x(t )dt mx
T T
T
M [ x] lim
2
T
2
1
x(t ) x(t )dt
T T
T
R( ) M [ x(t ) x(t )] lim
2

16.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Аппроксимации корреляционной функции
t
Rx (t ) Dx exp
0
t 2
Rx (t ) Dx exp
0

17.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
C если a x b
f ( x)
0 если a x b
b
a
f ( x)dx 1 Cdx 1
1
если a x b
f ( x) b a
0 если a x b
при x a
0
x a
F ( x)
если a x b
b a
при x b
1
Закон равномерной плотности
Моменты закона равномерной
плотности
b
1
mx xf ( x)dx mx
xdx
b a a
mx
a b
2
1
a b
x
dx
b a a
2
2
b
Dx
b a
D
x
12
2

18.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Биномиальный закон распределения
Каждый из m атомов излучает квант с
вероятностью р. Какова вероятность fn,m
испускания квантов n атомами
m!
f n,m
p n (1 p ) m n Cmn p n (1 p ) m n
n !(m n)!
m!
C
n !(m n)!
n
m
- число перестановок из n
событий в полном числе
событий m

19.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Биномиальный закон распределения
Моменты биномиального закона распределения
m
m
m!
mn nf n ,m n
p n (1 p ) m n
n !(m n)!
n 0
n 0
m 1
mn mp
k 0
m 1 ! p k (1 p)m 1 k
k !(m n)!
2 2 m
2
x
m 1 !
mn mp
p n 1 (1 p ) m 1 ( n 1)
n 1 n 1 !( m n)!
m
Бином Ньютона:
m
n n m n
a
b
C
ma b
m
k n 1
mn mp
n 0
m
m
Dn n f n ,m mp n 2
2
n 0
2
n 0
m!
2
p n (1 p ) m n mp
n !(m n)!
m
m 1 !
m 1 !
n 1
m 1 ( n 1)
mp (n 1) 1
p (1 p)
mp n 1
p n 1 (1 p) m 1 ( n 1) mp
n 1 !(m n)!
n 1 !(m n)!
n 1
n 1
m
m 2 !
mp m 1 p
p n 2 (1 p ) m 1 ( n 1) m(m 1) p 2
n 2 n 2 !( m n)!
m
Dn mp (1 p )

20.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Закон распределения Пуассона
Предельный переход в биномиальном законе распределения
m ; p 0; mp a
m!
f n,m lim
p n (1 p) m n
m n !( m n)!
p 0
mp a
1
m!
m
f n,m lim (1 p)
p n (1 p) n
n ! mp 0
(m n)!
mp a
mp
lim (1 p) lim (1 p) exp a
m
m
p 0
p 0
1
p
m
mp a
mp a
n чисел
m!
m ! mp
(m n 1)(m n 2) m n lim(1 p) n 1
n
n
lim
p lim
a lim
a p 0
n
m ( m n)!
m ( m n)! m n
m
m
p 0
p 0
n
mp a
mp a

21.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Закон распределения Пуассона
an
f n,m f n exp a
n!
Моменты закона
распределения Пуассона
mn lim mp a
m
p 0
mp a
Dn lim mp(1 p) a
m
p 0
mp a
Дисперсия равна
математическому
ожиданию

22.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Нормальный закон распределения
( x mx ) 2
1
f ( x)
exp(
)
2
2 x
2 x
Вероятность попадания
x в интервал [-σ;+σ]
равна 0.68, а в интервал
[-3σ;+3σ] – 0.999

23.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Многомерный нормальный закон распределения
f ( x1 , x2 ,
R11
R21
R11
R12
R21
R22
1
1
, xn )
exp
2 Det Rij
2 Det Rij
n R
Rn 2
n
n1
( x1 mx1 )
R12
R22
Rn1
Rn 2
( x1 mx1 )
R1n
R2 n
( x1 mx1 )
( x2 mx 2 )
Rnn
( xn mxn )
( xn mxn ) 0
n
n
( x1 mx1 )
( x2 mx 2 )
Rnn
( xn mxn )
( xn mxn ) 0
R1n
R2 n
( 1)i j M ij ( xi mxi )( x j mxj )
i 1 j 1

24.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Основные законы распределения случайных величин
Многомерный нормальный закон распределения
1 n n
f ( x1 , x2 , ... , xn )
exp Qij ( xi mxi )( x j mxj )
2 i 1 j 1
2 Det Rij
n
1
Анализ случайных процессов в частотной области
Sвых ( ) Sвх ( ) H1 ( ) H 2 ( ) H 3 ( ) H n ( )
Элемент матрицы,
обратной матрице
[Rij]n
Qij
( 1)i j M ij
Det Rij
n

25.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Теорема Парсеваля
1
2
*
x ( )d x( ) x ( )d x( ) 2 x(t ) exp j t dtd
1
1
x( ) x(t ) exp j t dtd
x(t ) x( ) exp j t d dt
2
2
1
2
2
x
(
)
d
x
(t )dt
2
x (t )
Спектральная плотность мощности эргодического случайного процесса
T
2
1
x 2 (t )
2
R(0) lim x (t )dt lim
dt
T T
T T
T
2
2 x 2 ( )
R(0) lim
d G ( )d
T
T
2 x 2 ( )
G ( ) lim
T
T

26.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Теорема Хинчина-Винера
2
*
G
(
)
exp(
j
)
d
lim
x
(
)
x
( ) exp( j ) d
х
T T
2
1
1
lim
x( )
x(t ) exp j t dt exp( j )d lim x( ) x(t ) exp j ( t ) dtd
T T
T T
2
1
1
lim x(t ) x( ) exp j (t ) d dt lim x(t ) x(t )dt Rx ( )
T T
T T
x ( t )
Rx ( ) Gх ( ) exp( j )d
1
Gx ( )
Rх ( ) exp( j )d
2

27.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Виды спектров
t
R1x (t ) Dx exp
0
t 2
R1x (t ) Dx exp
0
1
Gx ( )
Rх ( ) exp( j )d
2
0
Dx
G1x ( )
exp exp( j )d exp exp( j ) d
2
0
0
0
0
Dx
G1x ( )
exp 1 j 0 d exp 1 j 0 d
2
0
0
0

28.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Виды спектров
0
Dx 0
0
Dx 0
G1x ( )
exp 1 j 0
exp 1 j 0
2
2 1 j 0
1
j
1 0
0
0
0 0
0
0
1 j 0
1 j 0
2
Dx
exp exp( j )d
G2 x ( )
0
2
2
Dx 0
0
G2 x ( )
exp
4
2
G1x ( )
Дисперсия шума в
полосе частот ω1÷ω2
2
Dx 0
1 0
u 2 G ( )d
1
2

29.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Виды спектров

30.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Четность спектральной плотности мощности
1
1
G ( )
R( ) exp j d
R( ) exp j d ( )
2
2
1
1
G ( )
R( ) exp j ( ) d
R( ) exp j ( ) d
2
2
G ( ) G ( )

31.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Анализ случайных процессов в частотной области
Преобразование СПМ линейными цепями
x( ) H ( )
x( )
G
вых
x
( ) G ( ) H ( )
вх
x
2
2 x 2 ( )
Gx ( ) lim
T
T

32.

ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Суммирование шумов от нескольких источников
mx (t ) M x1 (t ) x2 (t )
x(t ) x1 (t ) x2 (t )
x1 (t1 ) mx (t1 ) x2 (t1 ) mx (t1 )
1
2
Rx (t1 , t2 ) M
x (t ) m (t ) x (t ) m (t )
x1 2
2 2
x2 2
1 2
Для независимых источников шумов взаимные
корреляционные функции Rx1x2 (t1 , t2 ) и
Rx2 x1 (t1 , t2 ) равны нулю
Rx (t1 , t2 ) Rx (t1 , t2 ) Rx (t1 , t2 )
1
2
Gx ( ) Gx ( ) Gx ( )
1
2
mx (t ) mx1 (t ) mx 2 (t )
Rx (t1 , t2 ) M x1 (t1 ) mx1 (t1 ) x1 (t2 ) mx1 (t2 )
Rx ( t1 ,t2 )
1
M x1 (t1 ) mx1 (t1 ) x2 (t2 ) mx2 (t2 )
Rx x ( t1 ,t2 )
1 2
M x2 (t1 ) mx2 (t1 ) x1 (t2 ) mx1 (t2 )
Rx x ( t1 ,t2 )
2 1
M x2 (t1 ) mx2 (t1 ) x2 (t2 ) mx2 (t2 )
Rx ( t1 ,t2 )
2