Технологии и инструментарий анализа больших данных

1.

Технологии и инструментарий
анализа больших данных
Юрченков Иван Александрович
Старший преподаватель кафедры прикладной математики ИИТ
Yurchenkov@mirea.ru
qwerty29544@gmail.com tg: @ivanyurchenkov

2.

Лекция №5. Машинное обучение, градиентный
спуск, классификация
1.
2.
3.
4.
5.
Машинное обучение
Градиентный спуск
Классификация
Линейная регрессия
Логистическая регрессия
2

3.

Машинное обучение (ML)
Машинное обучение (ML)
• обучение на примерах
• работа с вероятностями
• автоматизация принятия решений
3

4.

Машинное обучение (ML)
Модель – компьютерная программа
• qФункция обучения (train) и правильный
ответ(output)
• qФункция предсказания (predict)
4

5.

Машинное обучение (ML)
Пример. Фотографии собак и кошек, выделение
частей текста
5

6.

Машинное обучение (ML)
6

7.

Типы ML-задач
7

8.

Обучение с учителем
Обучение с учителем: для каждого набора входных данных есть
величина, которую модель должна предсказать
Входные данные
(независимые)
Что нужно предсказать
(зависимая переменная)
Где применяется
Класс задачи
Фотография
Есть на фото лица людей? (0
или 1)
Для тегирования персон Классификация
на фото
Заявка на получение
кредита
Заявитель выплатит кредит?
(0 или 1)
Одобрение выдачи
кредита в банке
Классификация
Текстовое описание
повреждений
оборудования
Сколько будет стоить
ремонт повреждений?
(стоимость)
Страховые компании,
Внутренние сервисы
Регрессия
8

9.

Обучение без учителя
Обучение без учителя: в данных есть неизвестная
Закономерность кластерный анализ, поиск аномалий,
автоэнкодеры, метод главных компонент, коллаборативная
фильтрация
9

10.

Обучение с подкреплением
Обучение с подкреплением – модель учится через
взаимодействие со средой
Применяется при разработке ботов, управлении роботами
Датасета нет. Агент производит действие в среде, получает
обратную связь, которая транслируется в награду (reward). Агент
учится совершать такие действия, которые максимизируют его
награду
10

11.

Функции ошибок машинного обучения
• как измерить эффективность модели
• у модели должно быть четкое определение цели
• цель выражается задачей минимизации ошибок
Пример. Прогнозирование спроса на товары:
цель – уменьшить суммарную величину расхождения с реальностью
Функция ошибок – разность между тем, что прогнозирует модель по
входным данным (фичи), и тем, что есть на самом деле (зависимая
переменная)
Пример. Прогнозирование следующего слова в предложении:
Цель – уменьшить энтропию (разброс) информации между реальным и
предсказанным сообщениями
Функция ошибок – метрика разброса информации (энтропия
Шэннона)
Регрессия: среднеквадратичная ошибка MSE и ее вариации
Классификация: кросс-энтропия (общая или бинарная)
11

12.

Линейная регрессия и логистическая регрессия
Линейная регрессия
y=кх+b
Логистическая регрессия
Разделяющая прямая в
задаче классификации
Сигмоида
12

13.

Метод К-ближайших соседей
13

14.

Метод опорных векторов
14

15.

Наивный Байесовский метод
15

16.

Деревья решений
16

17.

Бэггинг
17

18.

Бустинг
18

19.

Различные подходы к моделированию
19

20.

Процесс машинного обучения
Процесс для обучения ML-модели с учителем:
• определить набор данных признаков и реальных ответов,
отражающих особенности целевой задачи,
• определиться с перечнем подходящих моделей,
• определение функции потерь (loss function для одного примера, cost
function для множества примеров),
• предложить процедуру минимизации функции потерь,
• оптимизация модели и оценка качества обучения
Процедуры оптимизации: градиентный спуск и его вариации методов
20

21.

Процесс машинного обучения
Оптимизация:
1.Коэффициенты модели инициализируются нулями/ случайно
2.Вычисляется величина функции потерь, ее градиент
3. Если функция потерь изменилась существенно и не достигли
максимального
числа
повторений
расчета,
то
пересчитаем
коэффициенты, исходя из градиента, и идем к шагу 2.
4. Считаем, что оптимизация завершена, возвращаем модель с
вычисленными коэффициентами
21

22.

Валидация
Делим датасет на две части (обычно 80 к 20):
большую часть используем для обучения модели
меньшую – для ее тестирования
Делим датасет на три части:
на первой части – обучается модель
на второй –подбор гиперпараметров модели (настройки модели)
на третьей получают тестовую оценку
22

23.

Ошибки обучения
Модель в процессе обучения пытается найти закономерности
(patterns) и обобщить (generalize) их
Типы ошибок:
1.модель не заметила закономерности (недообучена)
2.модель сделала слишком сложную интерпретацию
(переобучена)
23

24.

Методы борьбы с переобучением
Поиск новых данных
Удаление выбросов в данных
Ранжирование значимости признаков и их фильтрация
Применение методов балансировки классов
Нормализация данных и применение штрафных функций
на величину значений параметров
Сохранение лучшей модели по минимуму валидационной
ошибки
Метод SMOTE – генерация записей внутри области однородности данных
24

25.

Метод главных компонент
Метод главных компонент (PCA) - линейный метод сжатия
пространства метод машинного обучения без учителя
• передается нужное число фич (размерность пространства)
• метод производит все необходимые операции и сообщает,
сколько информации мы потеряли из-за этого преобразования
(доля объясненной дисперсии)
25

26.

Досрочная остановка обучения
26

27.

Штрафные функции
27

28.

Классификация
Классификация – процесс определения принадлежности объектов к
определенным классам
Классификация - стратегия обучения с учителем
• Задача классификации: предсказание категориальной зависимой
переменной на основе выборки непрерывных и/или категориальных
переменных
• Задача бинарной классификации
28

29.

Классификация
одномерная (по одному признаку)
многомерная (по двум и более признакам)
Множество объектов базы данных в
двухмерном измерении
Задача. Определить, к какому классу принадлежит новый клиент и какой
из двух видов рекламных материалов ему стоит отсылать
29

30.

Процесс классификации
Цель процесса классификации: построить модель, которая
использует прогнозирующие атрибуты как входные параметры,
получает значение зависимого атрибута
Процесс классификации: разбиение множества объектов на классы
по определенному критерию
Классификатор
сущность,
определяющая,
какому
из
предопределенных классов принадлежит объект по вектору признаков
формальное описание объекта, которым можно оперировать,
используя математический аппарат классификации
объект (запись базы данных) несет информацию о некотором
свойстве объекта
30

31.

Процесс классификации
обучающее – множество, которое включает данные,
использующиеся для обучения (конструирования) модели
входные значения
выходные (целевые) значения примеров (для обучения модели)
тестовое
входные значения
выходные (целевые) значения примеров (для проверки
работоспособности модели )
Этапы процесса классификации:
1. конструирование модели
2. использование модели
31

32.

Методы, применяемые для решения
задач классификации
деревья решений
байесовская классификация
искусственные нейронные сети
метод опорных векторов
статистические методы
метод ближайшего соседа
CBR-метод
генетические алгоритмы
логистическая регрессия
деревья решений
нейронные сети
32

33.

Линейная регрессия
Исходные данные:
коллекция размеченных данных