Лекция 4

1. Нейронные сети

Лекция 4
1

2. Два направления развития ИИ

• Имитация процесса мышления
• Имитация физической структуры нервной
системы человека
• Нейронные сети – это одно из направлений
исследований в области искусственного
интеллекта, основанное на попытках
воспроизвести нервную систему человека. А
именно: способность нервной системы
обучаться и исправлять ошибки, что должно
позволить смоделировать, хотя и достаточно
грубо, работу человеческого мозга.
2

3. Фрагмент нервной системы человека (биологический нейрон)

Тело нейрона – сома
Отростки,
принимающие
импульсы – дендриты
Отросток для
соединения с другими
нейронами (выход) –
аксон
Соединение с
дендритом другого
нейрона (вход) –
Синапс
Кора головного мозга –
1015 взаимосвязей
3

4. Определение

• Нейронные сети (Neural Networks) - это модели
биологических нейронных сетей мозга, в которых
нейроны имитируются относительно простыми,
часто однотипными, элементами
(искусственными нейронами).
• Нейронная сеть может быть представлена
направленным графом с взвешенными связями,
в котором искусственные нейроны являются
вершинами, а синаптические связи - дугами.
4

5. История

• 1943 год – модель нейрона и основные
положения теории функционирования головного
мозга
• 1949 год – характер соединения нейронов и
правила обучения нейронной сети
5

6. Персептрон Фрэнка Розенблатта

• 1958 год – принципы организации
персептрона и его реализация в машине
Mark-1
• Розенблатт, Ф. Принципы нейродинамики:
Перцептроны и теория механизмов
мозга,1965
• Фрэнк Розенблатт, родоначальник
персептрона, популяризировал его как
устройство, а не алгоритм. Персептрон
впервые вошел в мир в качестве
аппаратного обеспечения
6

7. Ф. Розенблатт разработал однослойный персептрон

• Персептрон – это нейронная сеть, которая
представляет собой алгоритм для
выполнения двоичной классификации.
• Он определяет, относится ли объект к
определенной категории (например,
является ли животное на рисунке кошкой или
нет).
7

8. Персептрон

• Это однослойная нейронная сеть, при этом
каждый нейрон для активации использует
функцию единичного скачка.
8

9.

• 1969 год – опубликована книга «Персептрон», где
доказана ограниченная возможность его
применения
• Минский и Паперт доказали, что простые
пресептоны могут решать только очень узкий
класс линейно сепарабельных задач, т.е.
отсутствует инвариантность выбора
• Под общие название перцептрон — попадает
ЛЮБАЯ ныне существующая ИНС
9

10. история

• 1982-85 гг – предложена оптимизированная сеть,
моделирующая ассоциативную память
• 1987 год – промышленные разработки
нейронных сетей
• 1989 год – появление нейрокомпьютеров
• 2000 год – появление нанотехнологий и новых
технологических решений по созданию
нейрокомпьютеров
10

11. Области применения нейросетей

• Классификация образов (распознавание букв,
речи, сигнала кардиограммы, классификация
клеток крови, задача рейтингования)
• Кластеризация ( см. предыдущий п., без
обучающей выборки)
• Аппроксимация функций, известны пары
значений х и у.
• Предсказание/прогноз, есть набор данных в
период времени
• Оптимизация – нахождение решения при
заданной системе ограничений макс или мин.
11

12. Область применения НСТ в экономике

Точность прогноза –
около 95%
1. Анализ биржевой и
банковской
деятельности
2. Анализ фондовых и
валютных рынков с
высокой степенью
риска
3. Прогнозирование
деятельности фирмы
4. Решение о
предоставлении
кредита
12

13. Искусственный нейрон

-
-
-
-
Это однотипные
элементы, имитирующие
работу нейронов мозга
Каждый нейрон
характеризуется своим
текущим состоянием
(торможение или
возбуждение)
Текущее состояние
нейрона определяется
как взвешенная сумма
его входов с учетом
весового коэффициента
синапсов
W i ( величина
синапсической связи)
Бывают входные,
выходные и
промежуточные нейроны
13

14. Преимущества НСТ

• Способность обучаться на множестве примеров
когда зависимость между входными и
выходными данными не задана и
математические методы не применимы
• Способность решать задачи опираясь на
неполную, искаженную и противоречивую
информацию
• Возможность эксплуатации обученной
нейронной сети любым пользователем
• Возможность подключения к базам данных,
электронной почте и т.д. для ввода данных
• Способность к распознаванию образов в
условиях сильных помех
14

15. Пример нейронной сети

15

16. Функции активации

• Функция активации (активационная функция,
функция возбуждения) – функция, вычисляющая
выходной сигнал искусственного нейрона. В
качестве аргумента принимает сигнал ,
получаемый на выходе входного сумматора .
Наиболее часто используются следующие
функции активации:
- Пороговая (единичного скачка)
- Линейная
- Логистическая ( сигмоидальная)
- Гиперболический тангенс
- Линейная с насыщением (линейный порог)
16

17. Примеры функций

Функция единичного
скачка
Линейный порог
17

18.

Логистическая функция
Гмперболический
тангенс
18

19. Функции активации нейронов

• Наиболее распространены пороговая
• и логистическая функция сигмоид
19

20. Классификация сетей

• Однослойные НС
• Многослойные НС
• Синхронные ( один нейрон изменяет состояние)
• Асинхронные ( группа нейронов одновременно
изменяет состояние)
20

21. Классификация НС по разным основаниям

21

22. Обучение

• Перед использованием нейронной сети ее
необходимо обучить.
• Процесс обучения нейронной сети заключается
в подстройке ее внутренних параметров под
конкретную задачу.
• Алгоритм работы нейронной сети является
итеративным, его шаги называют эпохами или
циклами.
22

23. Обучение НС

• Обучение с учителем означает, что для каждого
входного вектора существует целевой вектор,
представляющий требуемый выход. Вместе они
называются обучающей парой
• Обучение без учителя не нуждается в целевом
векторе для выходов и не требует сравнения с
идеальными ответами, обучающий алгоритм
подстраивает веса сети так, чтобы получились
согласованные выходные векторы
23

24. Машинное обучение

• Машинное обучение (англ. machine learning, ML)
— класс методов искусственного интеллекта,
характерной чертой которых является не прямое
решение задачи, а обучение в процессе
применения решений множества сходных задач.
• Для построения таких методов используются
средства математической статистики,
численных методов, методов оптимизации,
теории вероятностей, теории графов, различные
техники работы с данными в цифровой форме.
24

25. 2 типа машинного обучения:

• Обучение по прецедентам, или индуктивное
обучение, основано на выявлении эмпирических
закономерностей в данных.
• Дедуктивное обучение предполагает
формализацию знаний экспертов и их перенос
в компьютер в виде базы знаний.
25

26. Программная реализация НС

1. BrainMarker ( США) - в 1990 году признан
лучшим в данной области
2. OWL – библиотека сетевых алгоритмов на С и С
++, фирма HyperLogic
3. The AL Trilogy – набор из трех приложений
NeuroShell, NeuroWindows и GeneHunter,
фирма Ward System Group
Это:
- средство для создания, обучения и тестирования
сети;
- нейросетевая библиотека исходных текстов;
- система оптимизации сетей на основании
генетических алгоритмов.
26

27. Российское ПО

1. NeuroPro, институт вычислительного
моделирования РАН, Красноярск, 1997 г.
2. Excel Neural Package - компания НейрОК –
набор надстроек к электронным таблицам.
Состоит из 2 частей:
Winnet 3.0 - программа эмулятор НС
Kohonnen Map 1.0 - программа для
построения карт Кохонена
EYE , фирма «НейроКомп», делит входное
множество на 5 классов, содержит библиотеку
исходных текстов
27

28. НС на Python. Библиотеки Python для работы с НС.

• NumPy - это библиотека языка Python,
добавляющая поддержку больших многомерных
массивов и матриц, вместе с большой
библиотекой высокоуровневых (и очень быстрых)
математических функций для операций с этими
массивами
28

29. PyBrain

• Название PyBrain является аббревиатурой от
английского: Python-Based Reinforcement
Learning, Artificial Intelligence and Neural
Network Library.
• Одна из лучших Python библиотек для
изучения и реализации большого
количества разнообразных алгоритмов
связанных с нейронными сетями.
• Являет собой удачный пример совмещения
компактного синтаксиса Python с хорошей
реализацией большого набора различных
алгоритмов из области машинного
интеллекта
• Есть русскоязычное описание и много
примеров
29

30.

30

31. Техническая реализация ( 90-е годы)

1.Нейровычислитель на базе процессоров СБИС
(транспьютеры фирмы INMOS T414, T800, F100;
сигнальные процессоры фирм Texas Instruments
IMS 320 C40, IMS 320C80, Motorola, Analog Device.
2. Российская разработка – нейрочипы на базе
БМК «Исполин - 60 Т»
БМК – базовый матричный кристал
Характеристики – число нейронов в сети – до 5
млн., число моделируемых связей – до 5 млн.,
скорость моделирования – до 500 млн
переключений связей в сек.
31

32. Тиры аппаратной реализации ИНС

• Нейрокомпьютеры
• Ускорители и другие карты расширения для
ПК (PC accelerators). Такие устройства
представляют собой стандартные карты
расширения для шины, например, ISA или
PCI, с тем лишь отличием, что обработку
данных осуществляет ИНС
• Чипы (Chips). Тип аппаратной реализации
ИНС, применяемый для построения
вышеназванных форм реализации, а также
предназначенный для совместного
использования с другими стандартными
устройствами для расширения свойств
последних.
32

33. Тиры аппаратной реализации ИНС

• Клеточные библиотеки (Cell libraries). Такой тип
предназначен для обеспечения совместной
работы специализированного чипа и некоторых
дополнительных возможностей и функций,
предоставляемых другими устройствами
• Встроенные микрокомпьютеры (Embedded
microcomputers). Такие устройства способны
выполнять определенный круг задач с помощью
ИНС, но без участия периферийных устройств
(клавиатуры, монитора и т. д.).
33

34.

• ИНС может быть реализована с использованием
КМОП (комплементарная структура металлоксид-полупроводник) -цифровых схем, которая
имеет преимущество легкого проектирования и
построения.
• Они основываются на существующих логических
элементах и в полной мере отражают достижения
в области цифровых схем за последние
десятилетия.
• Синаптические веса могут быть реализованы с
использованием ячеек цифровой памяти и даже
защелок.
• Пример-чип
IBM Synapse
34

35. Аппаратная реализация ИНС

Фирмы, уже применяющих ИНС в их
аппаратном исполнении:
• Ericsson (Англия и Швеция),
• Philips Research (Нидерланды),
• Siemens AG Munich, Siemens/Nixdorf Bonn,
• 3M Laboratories (Europe) GmbH Neuss,
• XIONICS Document Technologies GmbH
Dortmund, Robert Bosch GmbH Reutlingen,
• Spectrum Microelectronics Siek,
• Fiat,
• Domain Dynamics Ltd.
35