1.94M
Категория: МатематикаМатематика

Линейные модели (линейная и логистическая регрессия)

1.

Линейные модели (линейная
и логистическая регрессия)

2.

Математический оффтоп (вектор)

3.

Математический оффтоп (матрица)

4.

Математический оффтоп (матрица транспонированная)

5.

Математический оффтоп (умножение матриц)

6.

Математический оффтоп (умножение матриц)

7.

Произведение матрицы на вектор

8.

Обратная матрица

9.

L1 и L2 норма

10.

L1 и L2 норма

11.

Линейная регрессия

12.

Вспомним постановку задачи
-
X - множество параметров
Y - множество ответов
Наша задача - построить такую f: X -> Y, причем f должна быть
наилучшей с …

13.

Линейная регрессия

14.

Линейная регрессия
Регрессия

15.

Линейная регрессия

16.

Линейная регрессия

17.

Линейная регрессия

18.

Линейная регрессия

19.

Линейная регрессия

20.

Линейная регрессия
Минимизируем W (вектор весов)

21.

Линейная регрессия
Минимизируем W (вектор весов)

22.

Линейная регрессия

23.

Линейная регрессия

24.

Линейная регрессия

25.

Линейная регрессия

26.

Линейная регрессия

27.

Линейная регрессия

28.

Линейная регрессия

29.

Линейная регрессия
-
Но(!) у нас есть обратная матрица, а матрицы не всегда обратимы
Например, если у нас есть сильно скоррелированные фичи

30.

Линейная регрессия
-
Но(!) у нас есть обратная матрица, а матрицы не всегда обратимы
Например, если у нас есть сильно скоррелированные фичи

31.

Линейная регрессия
-
Но(!) у нас есть обратная матрица, а матрицы не всегда обратимы
Например, если у нас есть сильно скоррелированные фичи

32.

Регуляризация

33.

Регуляризация

34.

Регуляризация

35.

Регуляризация

36.

Метрики
-
MSE

37.

Метрики регрессии
-
MSE
MAE

38.

Метрики регрессии
-
MSE
MAE
RMSE

39.

Метрики регрессии
-
MSE
MAE
RMSE
MAPE

40.

Метрики регрессии
-
MSE
MAE
RMSE
MAPE
R2

41.

Логистическая регрессия

42.

Логистическая регрессия

43.

Логистическая регрессия

44.

Логистическая регрессия

45.

Логистическая регрессия

46.

Логистическая регрессия
-
Для начала разберемся с бинарной классификацией, те С = {-1, 1}

47.

Логистическая регрессия
-
Для начала разберемся с бинарной классификацией, те С = {-1, 1}
Как используя модель для линейной регрессии, решить задачу бинарной
классификации?

48.

Логистическая регрессия
-
Для начала разберемся с бинарной классификацией, те С = {-1, 1}
Как используя модель для линейной регрессии, решить задачу бинарной
классификации?
Выбрать границу и сравнивать с ней (например с 0(?))

49.

Логистическая регрессия
-
Для начала разберемся с бинарной классификацией, те С = {-1, 1}
Как используя модель для линейной регрессии, решить задачу бинарной
классификации?
Выбрать границу и сравнивать с ней (например с 0(?))
f(x) = sign(xTw)

50.

Логистическая регрессия

51.

Логистическая регрессия (отступ)

52.

Логистическая регрессия (отступ)
Если отступ положительный - мы
угадали. Отрицательный не
угадали

53.

Логистическая регрессия

54.

Логистическая регрессия
1. Такой Loss не гладкий
2. Ничего не знаем про уверенность

55.

Логистическая регрессия
1. Такой Loss не гладкий
2. Ничего не знаем про уверенность

56.

Логистическая регрессия

57.

58.

Логистическая регрессия (функции потерь)
-
Q(M) = (1 - M)^2
V(M) = (1 - M)_+
E(M) = e^{-M}
L(M) = log(1 + exp(-M))

59.

Логистическая регрессия
-
Мы хотим предсказывать вероятность принадлежать классу 1

60.

Логистическая регрессия
-
Мы хотим предсказывать вероятность принадлежать классу 1
xTw - лежит в R

61.

Логистическая регрессия
-
Мы хотим предсказывать вероятность принадлежать классу 1
xTw - лежит в R

62.

63.

Логистическая регрессия(метод максимального
правдоподобия)

64.

Логистическая регрессия(метод максимального
правдоподобия)

65.

Многоклассовая классификация
-
One vs Rest (для каждого класса тренируем свой классификатор)

66.

Многоклассовая классификация

67.

Многоклассовая классификация
-
One vs Rest (для каждого класса тренируем свой классификатор)
One vs One (тренируем для каждой пары свой классификатор)

68.

Многоклассовая классификация
-
One vs Rest (для каждого класса тренируем свой классификатор)
One vs One (тренируем для каждой пары свой классификатор)
One vs One - дает k(k-1) / 2 - классификатор

69.

Метрики
-
Точность
Если большой дисбаланс - точность не работает

70.

Метрики
-
Точность
Если большой дисбаланс - точность не работает
Precision - какое кол-во релевантных объектов мы выбрали

71.

Метрики
-
Точность
Если большой дисбаланс - точность не работает
Precision - какое кол-во релевантных объектов мы выбрали
Recall - какое кол-во из выбранных нами объектов - релевантно

72.

Метрики

73.

Метрики
-
Точность
Если большой дисбаланс - точность не работает
Precision - какое кол-во релевантных объектов мы выбрали
Recall - какое кол-во из выбранных нами объектов - релевантно
F1 = 2 * precision * recall / (precision + recall)
English     Русский Правила