Линейная регрессия

1.

Линейная регрессия
Аналитическое решение. Регуляризация. Градиентный спуск.

2.

План
● Аналитическое решение, визуализация
○
○
○
Анализ формулы для линейной регрессии
Переопределенная система линейных уравнений
Множественная регрессия
● Полиномиальная регрессия
● Градиентный спуск
● Регуляризация

3.

Источники
Визуализация:
https://github.com/JazonJiao/Manim.js/tree/master/Linear%20Regression
Разбор регуляризации:
https://habr.com/ru/company/ods/blog/322076/

4.

Аналитическое решение

5.

Постановка задачи
Найти уравнение прямой
(линии регрессии), лучше
всего описывающей точки на
2d графике.

6.

Как выглядят данные?
Пары точек, где
x - независимая величина
y - целевая

7.

Почему линейная?
х увеличивается вместе с y
(линейно)

8.

Почему линейная?
β - наклон
β0 - смещение

9.

Что если признак не один?
Для этого необходимо прояснить переопределенную систему линейных
уравнений

10.

Простейший случай
Рассмотрим случай, когда на
графике всего 3 точки

11.

Система линейных уравнений
Подставляя координаты мы
предполагаем, что все 3
уравнения должны быть
верны

12.

Система линейных уравнений
Рассматривается система
линейных уравнений с двумя
неизвестными

13.

Визуализация в другой плоскости
Каждое уравнение - линия,
которую можно
визуализировать на графике
Но система координат не x, y
а β и β0 - наклон и смещение

14.

Визуализация каждой прямой
Каждая точка в такой системе
координат - какая-то прямая в
координатах x, y

15.

Визуализация каждой прямой
На самом деле вектору [β, β0]
соответствует прямая в
координатах x, y

16.

Система из 3 уравнений
У исходных трех линий нету
точек пересечения т.е. нету
такой линии, которая бы
проходила через исходные 3
точки в данных -> нету
решения для оригинальной
системы уравнений

17.

Нету решения
Нету такой линии, которая бы
проходила через исходные 3
точки в данных

18.

Что, если бы они лежали?
Что, если бы они лежали на
одной прямой?
Можно было бы найти точное
решение (в координатах β, β0)
системы линейных уравнений
Что, обычно, нереально на
практике

19.

Переопределенная система линейных уравнений
Можно ли получить
ближайшее решение, лучше
всего удовлетворяющее все
3?

20.

Нормальные уравнения
Решаем нормальные
уравнения

21.

Нормальные уравнения
Перепишем в матричном
виде

22.

Нормальные уравнения
Умножим каждую часть на
транспонированную матрицу

23.

Нормальные уравнения
Алгебраические
преобразования приводят к
форме, которая является
обычной система из двух
линейных уравнений
Не квадратные матрицы тут линейные преобразования,
для которых нужно понять
визуальную интуицию

24.

Линейные трансформации
Можно воспринимать как
функции, которые получают
на вход вектор и на выход
выдают вектор

25.

Линейные трансформации
Линейную трансформация
полностью описывает то, куда
она отправит базисные
вектора

26.

Линейные трансформации
Поскольку любой вектор
может быть представлен как
линейная комбинация
базисных векторов

27.

Линейные трансформации
Координаты решетки
остаются параллельными и
на равном расстоянии друг от
друга

28.

Линейные трансформации
Координаты векторов после
преобразования будут равны
х на преобразованный
базисный i + y на
преобразованный j

29.

Линейные трансформации
Т.е. имея координаты i и j
можно получить итоговые
координаты после линейного
преобразования

30.

Линейные трансформации
Эти координаты удобно
записать в виде столбцов в
матрице

31.

Линейные трансформации
Матрица задает
специальную линейную
трансформацию
пространства

32.

Линейные трансформации
Если перейти к матричноматричным
преобразованиям, то это
будет последовательное
применение матричных
преобразований

33.

Линейные трансформации в 3d
В 3д мы все так же
преобразуем базисные
вектора (а вместе с ним и все
пространство)

34.

Линейные трансформации в 3d
3д векторы -> другие 3д
векторы

35.

Не квадратные матрицы?
Например из 3д
пространства в 2д
пространство

36.

Нормальные уравнения

37.

Транспонирование
Транспонирование линейное преобразование
из 3d в 2d

38.

Транспонирование
То, куда опустятся
базисные векторы
Трансформированные
вектора - уже 2д вектора
(2 числа на поизиции)

39.

Операция транспонирования для одного
Как это будет выглядеть для
одного вектора (не только
базисного)
Это все еще линейная
комбинация базисных

40.

Операция транспонирования для двух
То же, но синхронно. Два
трехмерных вектора стали
двумя двумерными
векторами

41.

Нормальные уравнения
В левой части применяем это
преобразование для двух 3д
векторов
Справа для одного 3д
вектора

42.

Нормальные уравнения

43.

Обратная матрица
Переводим обратно в
базисные

44.

Обратная матрица
Переопределенная система
линейных уравнений

45.

Алгебраически

46.

Графически
Имеем вектор ответов y в 3д

47.

Графически
Отправляем вектор в 2д
Обратная дает нам
результат
Вся визуализация работает
только для 3 точек (в 4+ все
работает идентично)