Введение и история появления бустинга

1.

The 6th international conference on network analysis
Nizhny Novgorod 26-28 May 2016
Градиентный бустинг

2.

Введение и история появления бустинга

3.

История появления бустинга
3

4.

История появления бустинга
Schapire R. E. The strength of weak
learnability //Machine learning. – 1990. – Т.
5. – №. 2. – С. 197-227.
4

5.

Adaboost
5

6.

Adaboost
6

7.

Adaboost
https://youtu.be/k4G2VCuOMMg
7

8.

История появления бустинга
градиентный бустинг, Gradient Boosting (Machine),
GBM
8

9.

История появления бустинга
Расширения GBM под разные статистические
задачи:
- GLMboost и GAMboost как усиление уже имеющихся
GAM моделей, - - CoxBoost для кривых дожития,
- RankBoost и LambdaMART для ранжирования.
Реализации GBM под разными названиями и
разных платформах:
- Stochastic GBM, GBDT (Gradient Boosted Decision
Trees),
- GBRT (Gradient Boosted Regression Trees),
- MART (Multiple Additive Regression Trees),
- GBM как Generalised Boosting Machines и прочие.+
9

10.

XGBoost
10

11.

11
GBM алгоритм

12.

GBM алгоритм
12

13.

GBM алгоритм
13

14.

GBM алгоритм
14

15.

GBM алгоритм
15

16.

Функциональный градиентный
спуск
лес
16

17.

Функциональный градиентный спуск
17

18.

Классический GBM алгоритм
Friedman-а
18

19.

Классический GBM алгоритм Friedman-а
19

20.

пример работы GBM
20

21.

пример работы GBM
21

22.

пример работы GBM
22

23.

пример работы GBM
http://arogozhnikov.github.io/2016/06/24/gradient_boosting_explained.html
23

24.

24
Функции потерь

25.

Функции потерь регрессии
25
4

26.

Функции потерь регрессии
26

27.

Функции потерь регрессии
27

28.

Функции потерь регрессии
28

29.

функция потерь Губера
29

30.

Функции потерь классификации
30

31.

Функции потерь классификации
31

32.

Функции потерь классификации
32

33.

Функции потерь классификации
33

34.

Функции потерь классификации
34

35.

Функции потерь классификации
35

36.

Веса
36

37.

Веса
37

38.

Веса
38

39.

Веса
39

40.

Итог про теорию GBM
40

41.

Итог про теорию GBM
http://arogozhnikov.github.io/2016/07/05/gradient_boosting_playground.html
36

42.

ИСТОЧНИКИ И РЕСУРСЫ
Презентация подготовлена по материалам: Ю. Кашницкого, К.В. Воронцова, А.Г.
Дьяконова, Н.Ю. Золотых, С.И. Николенко, Л.В. Уткин, Andrew Moore, Lior Rokach,
Rong Jin, Jessica Lin, Luis F. Teixeira, Alexander Statnikov и др.
Ресурсы для самоподготовки:
42

43.

СПАСИБО ЗА ВНИМАНИЕ!