Машинное обучение. Нейронные сети

1. Машинное обучение. Нейронные сети

2.

3.

4.

5.

6. Нейронные сети

• Модель ЦНС
• Линейная функция с нелинейным
«принятием решения»
• Удобное метод «подбора» коэффициентов
линейной функции
• Удобный инструмент обучения

7. НС. Применение

• Гибкая модель для аппроксимации
многомерных функций.
• Средство прогнозирования во времени
процессов, зависящих от большого количества
переменных.
• Средство распознавания образов
• Инструмент для поиска по ассоциациям
• Модель для поиска закономерностей в
массивах данных

8. НС. Базисы

• 1) ЦНС высших млекопитающих состоит из клеток — нейрон
связанных друг с другом из всевозможными клетками рецепторами
(зрительные, слуховые, тд). Общее количество таких клеток порядка
10^10.
• Связь между нейронами осуществляется с помощью контактов —
сИнапсы.
• Сила связи между двумя нейронами пропорциональна концентрации
вещества — нейромедиатор.
• Деятельность головного мозга высших млекопитающих представляет
собой пребывание в возбуждённом состоянии.
• Нейрон становиться активным, тогда. когда количество активных
нейронов связанных синапсами превышает определенный порог.

9. НС. Базисы

• 2) Концепция обучения.
• В процессе обучения с помощью резких внешних стимулов
существенно корректируется картина мира записанная в голове.
• Таким образом для осуществления обучения мы должны иметь набор
векторов характеризующих картину мира и все возможные реакции
на нашу действительность.
• Такой набор векторов получил название — обучающая выборка.
• Чем более адекватная картина мира записанная в нейронах головного
мозга, тем меньше истинная реакция окружающей среды будет
отличаться от реакции предсказания.
• С нейрофизиологической точки зрение обучение может происходить
двояко, это отмирание связей и изменение силы связи.

10. Биомодель нейрона

11.

12.

13.

14.

15. Функции активации

Жесткая ступенька

16. Функции активации

Сигмоида (функция Ферми)

17. Функции активации

Гиперболический тангенс

18. Функции активации

SOFTMAX

19. Функции активации

20. НС. Ограничения

• Вычисления нейрона происходят мгновенно,
не внося задержку.
• Нет четких алгоритмов для выбора функции
активации.
• Нет механизмов регулирующих работу сети в
целом, на подобии гормональной регуляции
активности в нервных клетках.
• Модель формального нейрона не является
биоподобной и это скорее математическая
абстракция.

21. Персептрон Розенблата

22. Персептрон. Обучение

• при синхронном возбуждении двух
связанных нервных клеток синаптическая
связь между ними усиливается.
• Чем чаще синапс угадывает правильный
ответ, тем сильнее становится связь.
• Если же синапс начинает часто ошибаться
или вообще перестаёт использоваться,
связь ослабевает, информация начинается
забываться.

23. Персептрон. Обучение

• Перед началом обучения вектор весов некоторым способом
инициализируется, например, заполняется нулевыми или
случайными значениями. Затем обучающие объекты xi по
очереди подаются на вход модели МакКаллока–Питтса, и
выданные ответы сравниваются с правильными.
• Если ответ a(xi) совпадает с yi, то вектор весов не изменяется.
• Если a(xi) = 0 и yi = 1, то вектор весов w увеличивается..
• Поэтому можно положить w := w + ηxi, где η некоторая
положительная константа, называемая темпом обучения
(learning rate).
• Если a(xi) = 1 и yi = 0, то вектор весов уменьшается: w := w − ηxi.

24. Персептрон. Обучение

25. Персептрон. Обучение

• Пусть классы помечены числами −1 и 1, а
нейрон выдаёт знак скалярного
произведения:
• a(x) = sign(<w, xi>).
• Правило Хэбба
• <w, xi>yi < 0, то w := w + ηxiyi (меняем шаг 4)

26. Персептрон. Обучение

27. Персептрон. Логическое ИЛИ

28. Персептрон. Искл. ИЛИ

29. Многослойный персептрон

30. Персептрон общего вида