ensemble_models_presentation

1.

УНИВЕРСИТЕТ ИННОПОЛИС
Построение и анализ ансамблевых
моделей на основе решающих деревьев:
регрессия
Камалов Булат · MFAI-02
Умаханов Мансур · MFAI-05
2026
Руководитель
Корнаева Е. П.

2.

Цель и задачи
02
Цель
Построить и сравнить регрессионные модели для прогноза стоимости
медицинской страховки (charges)
01
02
03
04
Исследовать данные
Подготовить признаки
Обучить модели
Настроить и сравнить
распределение, пропуски,
дубликаты
OneHotEncoding, log(charges +
1)
дерево, Bagging, Random
Forest, XGBoost
KFold, GridSearchCV, тестовые
метрики
Университет Иннополис · 2026

3.

Данные и постановка задачи
1 338
6
1
наблюдений
входных признаков
целевой признак
03
Регрессия: прогноз непрерывной величины
(charges)
age · bmi · children · sex · smoker · region
Среднее
$13 279
Медиана
$9 386
Асимметрия: 1,52
Университет Иннополис · 2026

4.

Предобработка данных и выбор метрик
04
1
Удален 1 дубликат
2
OneHotEncoding → 8 признаков
3
log(charges + 1)
4
Train / Val / Test = 60 / 20 / 20
133 полиса > $35 000
97,7% из них — курильщики
Оценка качества
R² · MAE · RMSE
MSE и MAPE — дополнительные
Университет Иннополис · 2026

5.

Оптимизированное дерево решений
R² по выборкам
0,900
0,879
0,880
0,858
0,860
0,840
0,840
0,820
Train
Validation
Test
0.840
$1 724
$4 565
Test R²
Test MAE
Test RMSE
Разрыв Train–Test R²: 0.018
Минимальная MAE среди моделей, но наиболее высокий RMSE: отдельные
крупные промахи сохраняются.
Университет Иннополис · 2026
05

6.

Bagging
06
R² по выборкам
0,900
0,892
0,876
0,880
0,860
0,848
0,840
0,820
Train
Validation
Test
0.848
$2 011
$4 455
Test R²
Test MAE
Test RMSE
Разрыв Train–Test R²: 0.028
Усреднение bootstrap-деревьев снизило RMSE относительно
оптимизированного дерева.
Университет Иннополис · 2026

7.

Random Forest
07
R² по выборкам
0,901
0,900
0,886
0,880
0,860
0,849
0,840
0,820
Train
Validation
Test
0.849
$1 965
$4 440
Test R²
Test MAE
Test RMSE
Разрыв Train–Test R²: 0.037
Качество близко к Bagging; случайный выбор признаков дал небольшое
дополнительное улучшение.
Университет Иннополис · 2026

8.

XGBoost
08
R² по выборкам
0,900
0,891
0,880
0,873
0,858
0,860
0,840
0,820
Train
Validation
Test
0.858
$1 886
$4 300
Test R²
Test MAE
Test RMSE
Разрыв Train–Test R²: 0.015
Лучшие тестовые R² и RMSE при наименьшем разрыве между train и test.
Университет Иннополис · 2026

9.

Стратификация и валидация гиперпараметров
Комбинированная метка стратификации
09
Двухэтапный поиск
5 квантилей (charges) + smoker
Грубая сетка
TRAIN
VALIDATION
TEST
60% · 801
20% · 268
20% · 268
широкие
диапазоны
↓
KFold = 5
средний CV R²
↓
Уточнение
Стратификация сохраняет долю курильщиков и диапазоны
стоимости во всех трех выборках
↓
Validation
выбор
конфигурации
↓
Validation и test не участвуют в обучении GridSearchCV
Test
Университет Иннополис · 2026
соседние значения
одна итоговая
оценка

10.

Сравнение моделей
10
R², %: Train и Test
RMSE на Test
85,8
XGBoost
XGBoost
87,3
4300
84,9
RF
88,6
RF
4440
84,8
Bagging
87,6
Bagging
4455
84,0
Дерево
85,8
81,0
82,0
83,0
84,0
Test
85,0
Train
Выбрана модель XGBoost
Университет Иннополис · 2026
86,0
Дерево
87,0
88,0
4565
89,0
4100
4200
4300
4400
4500
Test R² = 0,858 · RMSE = $4 300 · минимальный разрыв Train–Test
4600

11.

XGBoost: метрики, интерпретация и ограничения
11
0,858
$1 886
$4 300
Test R²
Test MAE
Test RMSE
Важность признаков
smoker_yes 70%
age 17% · children 6%
Ограничения
Ошибки выше для дорогих полисов
Небольшой датасет: 1 337 уникальных строк
Прогноз возвращается в исходную шкалу: exp(ŷlog) − 1
Университет Иннополис · 2026
Нет медицинской истории и типа страхового
плана

12.

Заключение
12
01
Данные
1 337 уникальных наблюдений
OneHotEncoding + log1p
02
Валидация
Стратификация charges + smoker
KFold = 5, двухэтапный поиск
03
Модель
XGBoost
Test R² = 0,858 · RMSE = $4 300
04
Интерпретация
Курение и возраст
определяют основную часть прогноза
Дальнейшая работа: расширить поиск гиперпараметров, добавить медицинские признаки и проверить модель на
внешних данных
Университет Иннополис · 2026