Кибернетика. Нейронные сети

1.

Кибернетика
Теория передачи сигналов
Теория управления
Теория автоматов
Теория принятия решений
Синергетика
Теория алгоритмов
Распознавание образов
Теория оптимального управления
Теория обучающихся систем
Искусственный интеллект
Кибернетика второго порядка
Компьютерное зрение
Системы управления
Эмерджентность
Обучающиеся организации
Новая кибернетика
Теория общения
Биоинженерия
Биологическая кибернетика
Биоинформатика
Бионика
Медицинская кибернетика
Нейрокибернетика
Гомеостаз
Синтетическая биология
Системная биология

2. Нейронные сети

Нейрон
x1
x2
xn
w0
n
y ( g ) ( wi xi w0 )
i 1
w1
w2
∑
ф(g)
y
Функция активации
wn
w весовые
коэффициенты
(g )
1.1
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
-0.1
-4
(g )
-3
-2
-1
0
1
2
3
4
Пороговая функция активации
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
-4
(g)
-3
-2
-1
g0
1
2
3
1
1 exp( a g )
4
Сигмовидная функция активации

3. Виды нейронных сетей

f(h1)
n(h1)
f(h3)
f(h1)
f(h3)
n(h2)
n(h2)
n(hn)
f(hn)
f(hn)
Трехслойная нейронная сеть
n(h1)
n(h 2)
n(hn)
n(h1)
n(hn)
Однослойный персептрон
Число связей в многослойном персептроне
N Nin N1 ... Ni Ni 1 N n 1 N out
Число связей в полно-связной нейронной
сети для обработки вектора данных из 512
точек
f(h1)
f(h2)
Сеть Хопфилда
f(hn)
N 3 512 512 786432

4. Методы обучения нейронной сети

1 M N
2
E ( yi (W ) d l ,i ) min
2 l 1 i 1
Метод обратного
Распространения ошибки
Стратегии улучшения работы
алгоритма обучения
E
wij (t 1) wij (t ) h
wij
Устранение возможной блокировки
сети
(n)
j
y
S
(n)
j
(n)
j
( n 1)
j
k
(j n ) ( yi( n ) d i )
wij h
w(jkn 1)
y (jn )
S (j n )
( n) n
j
i
x
wij (t 1) wij (t ) h wij
wij (t ) h (j n) xin wij (t 1)
Устранение переобучения, путем
кросс-проверки точности сети на
другой выборке
Обхождение локальных минимумов
с помощью увеличения нейронов
скрытого слоя. Случайное
изменения весовых коэффициентов

5. Метод регрессии

Y F W F
K
K
Однослойный персептрон
W F 1 (Y ) X T ( X X T ) 1
Преимущества метода
Высокая скорость
обучения
K 1
F W
2
2
F W X
1
1
Многослойный персептрон
W K ( F K ) 1 (Y ) FI K 1
W K 1 ( F K 1 ) 1 (WI K ( F K ) 1 (Y )) FI K 2
W 1 ( F 1 )1 (WI 2 ( F 2 ) 1 (...WI K ( F K ) 1 (Y ))) X T ( X X T ) 1
FI K FF T ,K ( FF K FF T ,K ) 1
Определение глобального
минимума
WI K ((W K )T W K ) 1 (W K )T

6. Сеть с комбинированным обучением

ń(h1)
f(h1)
ń(h3)
PI
f(h3)
n(h1)
n(h2)
n(h1)
PI
ń(hn)
n(h2)
n(hn)
f(h1)
f(h3)
PI
n(hn)
f(hn)
f(hn)

7.

Управляют беспилотником
В 1996 году фирмой Accurate Automation Corp(http://www.accurateautomation.com), Chattanooga, TN по заказу NASA и Air Force был
разработан экспериментальный автопилотируемый гиперзвуковой
самолет-разведчик LoFLYTE (Low-Observable Flight Test Experiment —
рис. 4). Самолет имел длину всего 2,5 м и вес 32 кг и был предназначен
для исследования новых принципов пилотирования. LoFLYTE
использовал нейронные сети, позволяющие автопилоту обучаться,
копируя приемы пилотирования летчика. Поскольку самолет был
предназначен для полетов со скоростью 4-5 махов, то быстрота
реакции пилота-человека могла быть недостаточной для адекватного
отклика на изменение режима полета. В этом случае на помощь
приходили нейронные сети, которые перенимали опыт управления у
летчика и за счет высокой скорости обработки информации позволяли
быстро находить выход в аварийных и экстремальных ситуациях

8.

Нейронные сети рисуют картины

9.

Предсказание, прогнозирование

10. Оптимизация с использованием генетического алгоритма

Генерация нескольких
популяций
1
2
N
выбор двух особей из
одной популяции с большой
вероятностью
выбор двух особей из
разных популяций с малой
вероятностью
кроссинговер
xv xv a 2
xi xi a
мутация
x x1 x3 x2 sign( fit ( x3) fit ( x2)) 0.001
добавление особи
в родительскую популяцию
отбор слабых особей в
соответствии оптимизируемой функцией

11.

12.

13.

• Аппроксимация изображения полигонами

14.

• Фракталы