Машинное обучение: оценка качества
Задача
График целевой метрики
График целевой метрики
Вспомним о чём ML
Грубая классфикация способов оценки
Грубая классфикация способов оценки
Online
Online
Online
Online
Offline
Оценка качества как система принятия решений
Offline
Offline на данных
Hold-out
Cross-fold Validation
Cross-fold Validation
Cross-fold Validation
Повторные выборки
Где в offline система принятия решений
Где в offline система принятия решений
Как выбрать статтест?
Классический подход что надо помнить
Есть метод проще!
Правильный подход на примере hold-out
Правильный подход на примере hold-out
Common knowledge
На примере
На примере
На примере
Формальная картинка же
Сложность (гибкость) модели
Определение I
Определение II
Зачем знать
Как понять где мы находимся
Как понять где мы находимся
Как понять где мы находимся
Как можно переобучиться
Итого offline
Вопросы?
2.76M
Категория: ИнформатикаИнформатика

Машинное обучение: оценка качества

1. Машинное обучение: оценка качества

Н. Поваров, И. Куралёнок
СПб, 2018

2. Задача

Хотим понять хорошо ли будет работать
решающая функция на практике.
“If you can’t measure it, you can’t improve it”
Lord Kelvin
“Гораздо легче что-то измерить, чем понять, что именно вы измеряете.”
Джон Уильям Салливан
Н. Поваров, И. Куралёнок
Санкт-Петербург, 2018
2

3. График целевой метрики

Н. Поваров, И. Куралёнок
Санкт-Петербург, 2018
3

4. График целевой метрики

Н. Поваров, И. Куралёнок
Санкт-Петербург, 2018
4

5. Вспомним о чём ML

argmax A(Γ, F0 )
F,B: F0 = B(F)
English     Русский Правила