Метод и инструменты прогнозирования оттока клиентов коммерческого банка на основе алгоритмов машинного обучения

1.

Филиал федерального государственного бюджетного образовательного
учреждения высшего образования
«Национальный исследовательский университет «МЭИ» в г. Смоленске
Кафедра информационных технологий в экономике и управлении
Направление подготовки 09.04.03 Прикладная информатика
Магистерская программа «Информационные системы и технологии в управлении бизнеспроцессами»
МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
на тему:
«МЕТОД И ИНСТРУМЕНТЫ ПРОГНОЗИРОВАНИЯ ОТТОКА
КЛИЕНТОВ КОММЕРЧЕСКОГО БАНКА НА ОСНОВЕ АЛГОРИТМОВ
МАШИННОГО ОБУЧЕНИЯ»
Руководитель: канд. техн. наук, доц. Фомченков В. П.
Выполнил: студент группы ИСУ-22 Василькова М. А.
Смоленск 2024

2.

• Целью исследования являлась разработка метода
прогнозирования оттока клиентов коммерческого
банка,
обеспечивающего
высокую
точность
прогноза за счет применения моделей машинного
обучения, в том числе искусственного интеллекта,
для анализа клиентских данных, а также создание
программных
инструментов,
реализующих
указанный метод.
• Объектом
научного
исследования
являлся
коммерческий банк, для которого качество прогноза
оттока клиентов имеет важную роль при
планировании стратегии развития бизнеса, так как
привлечение новых клиентов значительно более
затратно, чем удержание уже имеющихся.
• Предметом исследования выступала деятельность
коммерческого банка в B2C-сегменте, включающая
коммерческое взаимодействие бизнеса и частных
лиц.
2

3.

На защиту выносятся следующие положения:
1. Метод прогнозирования оттока клиентов коммерческого
банка, предусматривающий два варианта прогноза статический и динамический, в основе которых лежит
ансамблевое применение методов машинного обучения и
искусственного интеллекта;
2. Алгоритм прогнозирования оттока клиентов коммерческого
банка на базе предложенного ансамблевого метода,
позволяющий выполнять бинарную классификацию
клиентов, а также рассчитывать прогноз интегральной
характеристики – коэффициента оттока пользователей CR
(Churn rate);
3. Результаты апробирования программного инструментария,
реализующего разработанный алгоритм прогнозирования
3
оттока клиентов коммерческого банка.

4.

•Теоретическая ценность результатов исследования состоит в развитии
методологического аппарата предиктивной аналитики на основе
совершенствования методов и подходов к построению прикладных
интеллектуальных
прогностических
моделей.
Полученные
методологические подходы, научно-практические рекомендации могут
послужить основой для дальнейшего развития теории и практики
прогноза оттока клиентов для организаций различного направления
деятельности.
•Практическая значимость работы заключается в программных
инструментах, реализующих алгоритм прогнозирования оттока клиентов
коммерческого банка, а также в результатах их апробирования,
характеризующие точность получаемых прогнозов.
•Достоверность
и
обоснованность
результатов
исследований
подтверждена их апробацией на XIII Международной научно-технической
конференции «Энергетика, информатика, инновации – 2023»,
публикацией в журнале «Прикладная информатика», №1 за 2024 год
(журнал входит в перечень ВАК), а также результатами модельных
экспериментов
и
тестирования
разработанных
программных
инструментов прогноза оттока клиентов банка.
4

5.

Общая характеристика оттока клиентов
Отток клиентов – это процесс ухода или потери клиентов коммерческой организации.
Он может быть связан с прекращением пользования продукцией или услугами компании,
переходом к конкурентам или просто уменьшением активности клиентов.
Неудовлетворительное
обслуживание
Высокие цены или
несправедливые
условия
Низкое качество
продуктов (услуг)
Причины оттока
клиентов
Низкий уровень
лояльности
Несоответствие
ожиданиям
Смена предпочтений
или изменение
потребностей клиентов
5

6.

Характеристика деятельности ПАО «Сбербанк»
1600
Динамика чистой прибыли Сбербанка
млрд руб.
1400
1200
1000
800
600
400
200
0
2019 г.
2020 г.
2021 г.
Количество клиентов - физических лиц
109,0
108,0
млн
106,7
106,0
105,0
104,0
103,8
103,0
102,0
101,0
100,0
2019
100,5
2020
2021
2022
2023 г.
Количество корпоративных клиентов
108,0
107,0
2022 г.
2023
3,3
млн
3,2
3,2
3,1
3,1
3,0
3,0
2,9
2,9
2,8
2,8
2019
3,2
3,0
2,9
2,8
2020
2021
2022
2023
6

7.

Методы прогнозирования оттока клиентов
Методы
Краткая характеристика
Анализ
исторических
данных
Использование статистических методов для анализа и выявления
паттернов оттока клиентов на основе исторических данных.
Использование
машинного
обучения
Применение алгоритмов машинного обучения для создания моделей,
способных предсказывать отток клиентов на основе различных
параметров и факторов.
Анализ
Использование алгоритмов обработки естественного языка, обработка
текстовых данных и текстовых данных из обзоров, обращений в службу поддержки и
обратной связи
социальных медиа.
Сегментация
клиентов
Разделение клиентов на различные группы или сегменты на основе их
поведения, характеристик и потребностей для более точного анализа
оттока.
Использование
инструментов
автоматизации
Применение
специализированных
программных
решений
и
инструментов для автоматического мониторинга и прогнозирования
оттока клиентов.
7

8.

Методы машинного обучения
Логистическая регрессия
(Logistic Regression)
Линейная регрессия
(Linear regression)
Модель классификации
Регрессионная модель
Модели машинного обучения
Деревья принятия решений
(Decision Trees)
Регрессионноклассификационная модель
Случайный лес
(Random Forest)
Градиентный бустинг
(Gradient Boosting)
Нейронные сети
(Neural Networks)
8

9.

Укрупненная структура ансамблевого метода прогноза
оттока клиентов коммерческого банка
Ось времени
Таблица с данными клиентов
коммерческого банка
на
момент времени tk
tk
Препроцессинг
данных
X(tk)
MLA
классификации
клиентов
Y(tk)
Результаты
статического прогноза
BP0
tk-1
X(tk-1)
Y(tk-1)
X(tk-h)
Y(tk-h)
BP1
tk-h
MLA для
регрессии
вероятностей
результатов
классификации
Результаты
динамического
прогноза
BPh
9

10.

Структура статического варианта прогноза оттока клиентов банка
Клиентские
данные для момента
времени tk
Препроцессинг исходных данных
k-NN
Формирование X
k
обучающих
наборов данных
Требуемое
значение метрики
качества
RF
x_kNNk
x_RFk
Агрегация
результатов
классификации
одельными
моделями ML
MLP
Yk
Требуемое
значение метрики
качества достигнуто?
метрика
качества
Нет
x_MLPk
Ансамбль
моделей ML для
классификации
Да
Статический
классификатор
Обучение статического
классификатора
Применение классификатора
для статического прогноза
оттока клиентов
Коррекция
гиперпараметров моделей
и/или требований к
качеству модели
Формирование отчета о
результатах
прогнозирования
Применение обученного классификатора
10

11.

Агрегатор результатов классификации MLA на основе обучаемого
дерева систем нечеткого вывода
11

12.

Структура данных для динамического прогноза
tk
Исходные данные для статического прогнозирования
Исходные данные для динамического прогнозирования
tk-1
tk-h
Динамический прогноз на основе рекуррентного метода наименьших квадратов RLSM
y1
1.0
Прогнозные данные
y1 кр
Критический
уровень
уверенности
Рез ультаты
статического
пр огноза на пред ыд ущих шагах
t
0
tk
tс
Прогнозное
время
достижения
критического уровня
12

13.

Динамический прогноз на основе сверточной нейронной сети (CNN)
Примеры «тепловых карт» классов
Class_1
Class_2
13

14.

Архитектура применяемой CNN
14

15.

Н
Ввод флага «вид прогноза»:
(pf=0 - статический, pf=1 - динамический)
1
Алгоритм прогноза оттока клиентов
банка на основе MLA
Нет
2
pf=0
Да
Загрузка таблицы Tk с данными клиентов
на текущий момен времени tk
3
4
5
6
Ввод h и загрузка таблиц {Ti } с данными
клиентов на интервале времени [tk-h, tk]
10
Нормализация данных,
обработка пустых значений
11.1
Обучение классификаторов
K-NN, RF, MLP
Оценка важности факторов
11.2
7
Устранение
несбалансированности классов
8
Конструирование признаков
(кластеризация данных)
9
Формирование обучающих
наборов для агрегатора
результатов классификации
11.3
Обучение агрегатора
результатов классификации
Формирование обучающих
наборов данных
Да
pf=0
Задание (модификация) гиперпараметров ансамблевой модели ML
и требуемой точности классификации
10
11.4
Нет
Обучение классификатора
(статического, при pf=0 и динамического при pf=1)
11
11.5
Выбор
RLSM?
Применение
RLSM для
Формирование обучающих динамического
наборов для CNN из {Ti }
прогноза
Нет
11.6
12
Требуемая точность
классификации достигнута
Нет
Да
Применение обученного классификатора на рабочем наборе
данных и формирование отчета о прогнозировании
13
К
11.7
Да
Обучение динамического
классификатора на основе CNN
11.8
12
15

16.

Диаграмма потоков данных (DFD) прогнозирования оттока клиентов
коммерческого банка
БД клиентов
коммерческого
банка
Применение
модели на
рабочем наборе
данных
5
Формирование
запроса к БД
Прероцессинг
данных
1
2
Задание
гиперпараметров
MLA
Обучение
ансамблевой
прогнозной
модели
4
3
Интерпретация
результатов
прогноза и
формирование
отчета
6
Лицо,
принимающее
решение
16

17.

Главная форма программы прогнозирования оттока
клиентов банка
17

18.

Варианты отображения элементов интерфейса в
зависимости от режима работы программы
18

19.

Таблицы с данными клиентов до и после препроцессинга
19

20.

Препроцессинг данных
Проводился с использованием встроенных функций среды MatLAB и включал:
– удаление поля с порядковым номером клиента в таблице данных;
– удаление повторений в поле CustomerId, содержащем идентификационный
номер клиента (функция unique);
– удаление поля Surname как не информативного для дальнейшего анализа;
– замену категориальных данные (название страны, пол клиента) на числовые
метки;
– преобразование таблицы в числовой массив (table2array)
– удаление строк с пропущенными и нечисловыми (NaN) значениями полей
(rmmissing);
– обнаружение и удаление выбросов (isoutlier);
– нормализацию (normalize);
– оценку важности факторов;
– устранение несбалансированности классов.
20

21.

Отображение результатов обучения моделей
Динамика ошибки классификатора RF в
процессе обучения
Оптимизация гиперпараметров классификатора k-NN
Снижение ошибки обучения классификатора MLP
Динамика метрик точности (Accuracy) и потерь
(Loss) в процессе обучения CNN
21

22.

Оценка качества классификаторов
ROC-кривые классификаторов при
статическом прогнозе
ROC-кривые классификаторов при
динамическом прогнозе
22

23.

Результаты исследования
Научная
новизна
результатов
диссертационного
исследования заключается в следующем:
1. Предложен ансамблевый метод для прогноза оттока
клиентов коммерческого банка, предусматривающий
два варианта прогноза (статический и динамический), в
основе которого лежит анализ данных на основе
методов ML и AI;
2. Разработан алгоритм прогнозирования оттока клиентов
коммерческого банка, позволяющий выполнять
бинарную
классификацию
клиентов,
а
также
рассчитывать
прогноз
коэффициент
оттока
пользователей CR.
23