Машинное обучение и анализ данных. Линейные модели. Логистическая регрессия

1. Машинное обучение и анализ данных

Лекция 9. Линейные модели. Часть 2.
Логистическая регрессия

2. Обзор предыдущей лекции

Кривые обучения

3. Содержание

Нелинейное преобразование(обобщение)
Логистическая регрессия

4. Нелинейное преобразование

5. Цена, которую мы платим за нелинейное преобразование

6. Два линейно неразделимых случая

7. Первый случай

Два способа решения:
1) Использовать линейную модель для Ein>0
2) Положить Ein=0 и
использовать нелинейное
преобразование в пространстве
высокого порядка

8. Второй случай

Перейти к преобразованию
Или лучше:
Или:
Или даже:

9. Логистическая регрессия

1) Модель
2) Мера ошибки
3) Алгоритм

10. Линейные модели

11. Логистическая функция

«Мягкий порог»
Функция θ интерпретируется как вероятность

12.

Данные (x,y), где y бинарная функция,
генерируются «шумной» ЦФ
Функция
Изучаем
- вероятность

13. Мера ошибки. Метод максимального правдоподобия

Правдоподобие
определяется

14. Максимизируем правдоподобие

Минимизируем
«кросс-энтропийная» ошибка

15. Как минимизировать Ein?

Метод градиентного спуска

16. Как выбрать направление

17. Какая длина шага?

18. Простое применение

Вместо
Используем
С фиксированным η

19. Алгоритм логистической регрессии

20. Обзор линейных моделей

21. Использованные источники

Yaser Abu Mostafa “Learning from Data:
Introductory Machine Learning Course”, CalTech
University, 2012 . https://www.youtube.com/playlist?list=PLnIDYu
XHkit4LcWjDe0EwlE57WiGlBs08