Синтез оптимальных дискретных детерминированных систем. Нахождение оптимального программного управления (лекция 2)

1.

Лекция 2
СИНТЕЗ ОПТИМАЛЬНЫХ НЕПРЕРЫВНЫХ
ДЕТЕРМИНИРОВАННЫХ СИСТЕМ
НАХОЖДЕНИЕ ОПТИМАЛЬНОГО ПРОГРАММНОГО
УПРАВЛЕНИЯ

2.

Постановка задачи
Поведение
модели
объекта
управления
обыкновенным дифференциальным уравнением
описывается
x (t ) f (t, x(t ), u(t )) ,
(1)
x – вектор состояния системы, x ( x1, , x n )T R n ;
u – вектор управления, u (u1,..., uq )T U R q , U – некоторое
заданное множество допустимых значений управления;
t – непрерывное время, t T [t 0 , t1] – промежуток времени
функционирования системы;
f (t , x, u) – непрерывная вместе со своими частными производными
вектор-функция,
f (t , x, u) ( f1 (t , x, u),..., f n (t , x, u)) T ,
f (t , x, u) : T R n U R n ;
пространство.
Rn
–
n-мерное
евклидово

3.

Момент начала процесса t 0 задан, а момент окончания процесса t1
определяется первым моментом достижения точкой (t , x (t )) некоторой
заданной поверхности R n 1 :
{ (t1, x) | i (t1, x) 0, i 1,..., l ; t1 (t 0 , ),
x Rn } ,
(2)
т.е. в момент t1 должны выполняться условия
i (t1, x(t1 )) 0 ,
i = 1, , l , 0 l n 1.
при l n 1 множество представлено точкой в пространстве R n 1 ,
функции i (t1, x ) – непрерывно дифференцируемы;
система
i (t1, x )
i (t1, x ) i (t1, x )
,
,
,
,
x
xn
t1
1
линейно независима (t1, x ) R n 1 .
векторов
Начальное условие задано x(t 0 ) x0 .
i 1,..., l ,

4.

При управлении используется информация только о времени, т.е.
система управления является разомкнутой по состоянию и
рассматривается так называемое программное управление (рис. 1).
Множество допустимых управлений U 0 образуют кусочнонепрерывные функции u( ) со значениями в множестве U . В точках
разрыва значение управления определяется как предел справа.
Множество допустимых процессов D (t 0 , x0 ) - множество
троек d (t1, x( ), u( )) , которые включают момент окончания процесса
t1 , траекторию x ( ) и управление u( ) , удовлетворяющие уравнению (1)
с начальным условием x(t 0 ) x0 почти всюду на множестве T и
условию (2).
Рис. 1. Разомкнутая по состоянию система управления

5.

На множестве D (t 0 , x0 ) определен функционал качества управления
I (d )
t1
f 0 (t , x (t ), u(t )) dt F (t1, x (t1 )) ,
(3)
t0
где f 0 (t , x, u) , F (t1, x) – заданные непрерывно дифференцируемые функции.
Треб уется найти такую тройку d (t1 , x ( ), u ( )) D (t 0 , x0 ) , что
I (d )
min
d D ( t0 , x0 )
I (d ) .
(4)
Задача (4) с функционалом (3) называется задачей Больца; если в
функционале (3) функция F (t1, x) 0 (терминальный член) – задачей Лагранжа;
если f 0 (t , x, u) 0 (интегральный член) – задачей Майера.
x ( ) и u ( ) - оптимальная траектория и оптимальное управление,
t1 – оптимальный момент окончания процесса.
Если любое допустимое управление u( ) U 0 порождает единственную
тройку d D (t 0 , x0 ) , то задача (4) может быть записана в эквивалентной форме:
I (t 0 , x0 , u ( )) min I (t 0 , x0 , u( )) .
u( ) U 0

6.

Принцип максимума. Необходимые условия экстремума
Пусть на тройке d (t1 , x ( ), u ( )) D (t 0 , x0 ) достигается
минимум функционала (3). Тогда существует такая вектор-функция
(t ) ( 1 (t ),..., n (t )) T (вспомогательные переменные), что:
1) в каждой точке непрерывности управления u (t ) функция
(гамильтониан)
достигает
максимума
по
H (t , (t ), x (t ), u)
управлению, т. е.
max H (t , (t ), x * (t ), u) H (t , (t ), x * (t ), u * (t )) ,
u U
где H (t , , x, u)
n
j
j 1
f j ( t , x, u ) f 0 ( t , x, u ) ;

7.

2) выполняется условие трансверсальности
F (t1* )
H
(t1* )
t1
n
j (t1* ) x j
0
(5)
j 1
при любых t1 и x j , удовлетворяющих системе
i (t1 , x (t1 )) 0 , i (t1 , x (t1 )) 0 ,
где H (t1 ) H (t1 , (t1 ), x (t1 ), u (t1 )) ,
определяются следующим образом:
F (t1 )
F (t1 ,
i (t1 ,
x
x
(t1 ))
(t1 ))
i 1, , l ,
F (t1 ) F (t1 , x (t1 )) ,
F (t1 , x (t1 ))
t1
t1
i (t1 , x (t1 ))
t1
t1
а
вариации
F (t1 , x (t1 ))
x j ,
x
j
j 1
n
i (t1 , x (t1 ))
x j ;
x
j
j 1
n
3) функции x ( ), ( ) удовлетворяют системе канонических уравнений
x j (t )
H (t , (t ), x (t ), u (t ))
f j (t , x (t ), u (t )) ,
j
x j (t 0 ) x 0 j ,
H (t , (t ), x (t ), u (t ))
j (t )
,
xj
j 1, , n .
j 1, , n ,
(6)

8.

Замечания
1. В частном случае задания множества Г, когда момент времени t1 задан
и фиксировано k координат x11, , x k 1 вектора x (t1 ) , т.е. t1 T1 , x j (t1 ) x j 1 ,
j 1, , k ; 0 k n , l k + 1, функции j ( t1, x ) имеют вид
j (t1, x ) x j x j 1 0 ,
j 1, , k ;
k 1 (t1, x ) t1 T1 0 .
Здесь при k n правый конец траектории фиксирован, а при k 0
свободен. Отсюда следует, что x j 0 , j 1, , k ; t1 0 .
Решаемая задача с фиксированным временем окончания записывается
в форме
I (d )
t1
f 0 (t , x (t ), u(t )) dt F ( x (t1 )) min .
t0
Решением этой задачи является пара
траектория и управление.
( x ( ), u ( )) : оптимальные

9.

2. В общем случае гамильтониан следует записывать в форме
H (t , , 0 , x, u)
n
j f j ( t , x, u ) 0 f 0 ( t , x, u ) ,
j 1
а при решении задачи рассматривать два случая: 0 (t ) 0 и 0 (t ) 0 .
Во втором случае обычно полагают 0 (t ) 1 .
3. Если на управление нет ограничений, т.е. U R q , то
максимум гамильтониана ищется с помощью необходимых и
достаточных условий безусловного экстремума.
4. Если модель объекта управления описывается линейным
дифференциальным уравнением, а функционал квадратичный, принцип
максимума является необходимым и достаточным условием
оптимальности в задаче (4).

10.

АЛГОРИТМ ПРИМЕНЕНИЯ ПРИНЦИПА
МАКСИМУМА
1. Составить гамильтониан: H (t , , x, u)
n
j
j 1
f j ( t , x, u ) f 0 ( t , x, u ) .
2. Найти структуру оптимального управления u (t ) u (t , (t ), x(t )) из
условия максимума гамильтониана по управлению.
3. Составить систему канонических уравнений (6) с заданными в задаче
условиями.
4. Из условий трансверсальности (5) получить недостающие краевые
условия для уравнений составленной системы.
5. Решить двухточечную краевую задачу для системы канонических
уравнений, полученную в п. 3, с учетом результатов пп. 2 и 4. В итоге
определяется тройка (t1 , x ( ), u ( )) , на которой может достигаться экстремум
функционала.

11.

Пример 1.
Даны модель объекта управления
x (t ) u(t ) , x ( 0) 0 , x (1)
где x R ; u R ; t [ 0; 1] , и функционал
1
,
2
1
I
[ u 2 (t ) x 2 (t ) ] dt min .
0
Tребуется найти оптимальную пару ( x ( ), u ( )) , на которой достигается
минимум функционала.
Сравнивая с общей постановкой задачи, имеем:
f ( t , x, u ) u ,
F (t1, x) 0 ,
f 0 (t , x, u) u 2 x 2 ,
1
2 (t1, x (t1 )) x(1) 0 . Решается задача Лагранжа.
2
1(t1, x(t1 )) t1 1 0 ,

12.

1. Составляем гамильтониан: H (t , , x, u) u u 2 x 2 .
2. Находим максимум гамильтониана по управлению. Так как
ограничения на управление отсутствуют, можно применить необходимые
условия безусловного экстремума
H (t , (t ), x (t ), u) (t ) 2u 0 .
u
(t )
Отсюда u (t )
. Найденное управление обеспечивает максимум функции
2
H (t , (t ), x (t ), u) по управлению, так как удовлетворяются достаточные
условия экстремума
2
H (t , (t ), x (t ), u) 2 0 .
u
3. Выписываем уравнения системы (6):
2
x (t ) u (t )
(t )
1
(t )
, x ( 0) 0 , x (1) ,
2
2
H (t , (t ), x(t ), u(t )) 2x(t ) .
x

13.

4. Проверяем условия трансверсальности (5). Так как F (t1, x) 0 ,
то F 0 и H (t1 ) t1 (t1 ) x
t1 1
0 . Поскольку t1 1 и x (t1 )
1
2
заданы,
то t1 0 , x 0 . Поэтому условия трансверсальности
выполняются.
5. Решаем полученную двухточечную краевую задачу:
x (t )
(t )
1
, x ( 0) 0 , x (1) ,
2
2
(t ) 2x ( t ) .
Последовательно находим:
(t )
x(t ),
2
x(t ) C1 et C 2 e t ,
x(0) C1 C 2 0 ,
C 2 C1 , C1
x (t )
x(1) C1 e C 2 e 1
u * (t )
1
,
2
В результате находится искомая пара:
x (t )
e ( et e t )
2 (e 1)
2
, u (t )
e ( e t e t )
2 (e 1)
2
.
e
2(e 2 1)
(t )
x * (t ) .
2
,

14.

Пример 2.
Даны модель объекта управления
x (t ) x(t ) u(t ) , x ( 0) 0 ,
где x R ; u R ; t [ 0; 1] , и функционал
1
I
u 2 (t ) dt x (1) min .
0
Требуется найти оптимальную пару ( x ( ), u ( )) , на которой
достигается минимум функционала.
Сравнивая с общей постановкой задачи, имеем: f (t , x, u) x u ,
f 0 (t , x, u) u 2 , F (t1, x ) x , 1(t1, x(t1 )) t1 1 0 . Решается задача
Больца.

15.

1. Составляем гамильтониан: H (t , , x, u) ( x + u) u 2 .
2.Находим максимум гамильтониана по управлению:
H (t , (t ), x(t ), u) (t ) 2u 0 .
u
2
(t )
Отсюда u (t )
и 2 H (t , (t ), x (t ), u) 2 0 .
2
u
3. Выписываем уравнения системы (6) с учетом результата п.2:
x (t ) x(t ) u (t ) x(t )
(t )
(t )
, x ( 0) = 0 ,
2
H (t , (t ), x(t ), u(t )) (t ) .
x
4. Проверяем условие трансверсальности. Так как F (t1, x) x , то F x .
Согласно условию, x H (t1 ) t1 (t1 ) x
t1 1
0 . Поскольку t1 1 , то t1 0 .
Ограничений на x (t1 ) не наложено, поэтому вариация x произвольна. В результате
имеем (t1 ) 1 x
t1 1
0 и, следовательно, (1) 1 0 .

16.

5. Решаем полученную двухточечную краевую задачу:
x (t ) x(t )
(t )
, x ( 0) = 0 ,
2
(t ) (t ) ,
(1) 1 .
Из второго уравнения с конечным условием имеем (t ) e1 t . Поэтому
оптимальное управление u (t )
(t ) 1 1 t
e .
2
2
e1 t
Решая первое уравнение системы x (t ) x(t )
2
x ( 0) = 0 , последовательно получаем:
с начальным условием
x0 (t ) Cet – общее решение однородного уравнения,
x ч (t )
e t
e – частное решение неоднородного уравнения,
4
x(t ) x0 (t ) xч (t ) Cet
x(0) C
e t
e – общее решение неоднородного уравнения,
4
e
e
0, C .
4
4
Следовательно, оптимальная траектория x (t )
1 1 t
e e1 t .
4

17.

Пример 3.
Даны модель объекта управления
x 1(t ) x2 (t ) , x1(0) 1 , x1( 2) 0 ,
x 2 (t ) u(t ) ,
x2 (0) 1 , x2 (2) 0 ,
где x ( x1, x2 )T R 2 , u R , t [ 0; 2] , и функционал
1
I
2
2
u
2
(t ) dt min .
0
Требуется найти оптимальную пару ( x * ( ), u* ( )) , на которой достигается
минимум функционала.
Сравнивая с общей постановкой задачи, имеем
f1(t, x, u) x2 , f 2 (t , x, u) u , f 0 (t , x, u)
1 2
u ,
2
F (t1, x) 0, 1(t1, x(t1 )) t1 2 0 ,
2 (t1, x(t1 )) x1( 2) 0 ,
Решается задача Лагранжа.
3 (t1, x(t1 )) x2 ( 2) 0 .

18.

1. Составляем гамильтониан: H (t , , x, u) 1 x 2 2 u
1 2
u .
2
2. Находим максимум гамильтониана по управлению. Так как ограничения на
управление отсутствуют, можно применить необходимые условия безусловного
экстремума:
H (t , (t ), x (t ), u) 2 (t ) u 0 . Отсюда u * (t ) 2 (t ) .
u
Найденное управление обеспечивает максимум функции H (t , (t ), x (t ), u) по
управлению, так как удовлетворяются достаточные условия экстремума
2
H (t , (t ), x (t ), u) 1 0 .
2
u
3. Выписываем уравнения системы (6):
x 1(t ) x2 (t ) , x1(0) 1 , x1( 2) 0 ,
x 2 (t ) u(t ) 2 (t ) , x 2 (0) 1 , x 2 ( 2) 0 ,
1 (t )
2 (t )
H (t , (t ), x (t ), u(t )) 0 ,
x1
H (t , (t ), x(t ), u(t )) 1 (t ) .
x2

19.

4. Проверяем условия трансверсальности (5). Так как F (t1, x) 0 , а t1 2 ,
x1( 2) 0 , x2 (2) 0 , т.е. заданы, то F 0 , t1 0 , x1 0 , x2 0 .
Следовательно, условия трансверсальности выполняются.
5. Решаем полученную в п.3 двухточечную краевую задачу:
1(t ) const C1 ,
C1 t 2
x 2 (t )
C 2 t C3 ,
2
2 (t ) C1t C 2 ,
C1 t 3 C 2 t 2
x1 (t )
C3 t C 4 .
6
2
Из краевых условий находим постоянные C1, C 2, C3, C 4 :
4
x1 ( 2) C1 2C 2 2C 3 C 4 0 ,
3
x1(0) C 4 1 ,
x2 (0) C3 1,
Отсюда C1 3 , C 2
x2 ( 2) 2C1 2C 2 C3 0 .
7
и искомая пара ( x * ( ) ( x1* ( ), x2* ( )) T , u* ( )) , где
2
x1* (t )
1 3 7 2
t t t 1,
2
4
x 2* ( t )
3 2 7
t t 1,
2
2
u * (t ) 2 (t ) 3 t
7
.
2

20.

Пример 4.
Даны модель объекта управления
x 1(t ) x2 (t ) ,
x 2 (t ) x1(t ) u(t ) ,
| u | 1,
с начальными условиями x1(0) 0 , x2 (0) 0 и функционал
I x2 ( 2 ) min .
Требуется найти оптимальное программное управление u ( ) и
соответствующую ему траекторию x ( ) .
t [ 0; 2 ] , на управление наложено
Здесь
x ( x1, x 2 )T R 2 ,
ограничение | u | 1, т.е. u U [ 1; 1] ,
F (t1, x) x2 ,
f 0 (t , x, u) 0 ,
f1(t, x, u) x2 , f 2 (t, x, u) x1 u , 1(t1, x(t1 )) t1 2 0 .
Решается задача Майера.

21.

1. Составляем гамильтониан H (t, , x, u) 1 x2 2 [ x1 u ] .
2. Находим максимум гамильтониана по управлению. Так как имеются
ограничения на управление, требуется найти условный максимум гамильтониана по
управлению. В данной задаче гамильтониан линеен по u на заданном отрезке
изменения управления [-1; 1], поэтому оптимальное управление имеет вид
1, 2 (t ) 0 ,
u (t ) arg max H (t , (t ), x(t ), u) = 1 sign 2 (t )
|u | 1
1, 2 (t ) 0 .
т.е. является релейным. Величина управления определяется знаком функции 2 (t ) .
3. Выписываем канонические уравнения (6) принципа максимума:
x 1(t ) x2 (t ) ,
x1(0) 0 ,
x 2 (t ) x1(t ) u (t ) x1(t ) sign 2 (t ) ,
1 (t )
2 (t )
x2 (0) 0 ,
H (t , (t ), x(t ), u (t )) 2 (t ) ,
x1
H (t , (t ), x(t ), u (t )) 1 (t ) .
x2

22.

4. Проверяем условия трансверсальности (5):
F H (t1 ) t1
F (t1 , x )
t1
где F
t1
(
t
)
x
j 1
j
j 1
2
t1 2
0,
F (t1 , x )
x x j x 2 . Группируя члены, получаем
j
j 1
2
H ( 2 ) t1 1( 2 ) x1 [ 1 2 ( 2 ) ] x2 0 .
Момент окончания t1 задан, поэтому t1 0 . Так как правый конец
свободен, то вариации x1 , x2 считаются произвольными. Чтобы
равенство выполнялось для любых вариаций, необходимо, чтобы
1( 2 ) 0 , 2 ( 2 ) 1 .

23.

5. Решаем двухточечную краевую задачу с учетом пп. 2 и 4:
x 1(t ) x2 (t ) , x1(0) 0 ;
x 2 (t ) x1(t ) sign 2 (t ) , x2 (0) 0 ;
1(t ) 2 (t ) , 1( 2 ) 0 ;
2 (t ) 1(t ) , 2 ( 2 ) 1 .
Имеем: 1(t ) sin t , 2 (t ) cost , u (t ) sign ( cost ) sign(cos t ) .
Найденное оптимальное управление u (t ) на отрезке [ 0, 2 ] имеет две точки
переключения и, следовательно, три промежутка знакопостоянства:
, u (t ) 1 , x1 (t ) cost 1 , x 2 (t ) sin t ;
2
3
2) при
, u (t ) 1 , x1 (t ) cost 2 sin t 1 ,
t
2
2
x 2 (t ) sin t 2 cost ;
3
3) при
t 2 , u (t ) 1 , x1 (t ) cost 4 sin t 1 ,
2
x2 (t ) sin t 4 cost .
1) при 0 t
Минимальное значение функционала равно x 2 ( 2 ) 4 .