Централизованная подсистема отчётности и бизнесаналитики (ЦПОиБА)

1.

ГИСМУ: Централизованная
подсистема отчётности и бизнесаналитики (ЦПОиБА)
Москва, 2020

2.

Назначение
1.
Обеспечение автоматизированного получения статистической и
аналитической и ведомственной отчетности на основе актуальных и
ретроспективных данных;
2.
Предоставление регламентной отчетности по миграционному учету;
3.
Обеспечение МВД России полной и достоверной оперативной
отчетностью по всем видам миграционного учета;
4.
Визуализация и инструменты по созданию произвольных форм
отчетности;
5.
Консолидация информации с различных сервисов ИСОД МВД
России.
2

3.

Задачи
Централизованная подсистема отчётности и бизнес-аналитики
Создание
централизованного
хранилища данных
Создание платформы
бизнес-аналитики на
базе ПО с открытым
кодом
Создание
семантического слоя
для предоставления
отчетов
произвольной формы
Миграция данных из
текущей системы
отчетности (АСАО)
Вспомогательные
модули (ETL, ККД,
КМ)
Интеграция с СУДИС и
создание ролевой
модели доступа к
данным
3

4.

Системная архитектура
4

5.

Технологический стек
• Аналитика и отчётность (BI):
Metabase
• Хранилище данных (DWH):
Greenplum
Yandex ClickHouse
• Интеграция данных:
Apache Airflow
Pentaho Data Integration (Kettle)
• Контейнеризация
Kubernetes
Rancher
5

6.

Аналитика и отчётность (BI)
Metabase – простой и мощный BI-инструмент
• Семантическая модель данных
• Поддержка картографических данных
• Локализация интерфейса
• Множество вариантов визуализации
данных
• Интеграция с поставщиками безопасности
6

7.

Хранилище данных (DWH)
GreenPlum - массивно-параллельная
аналитическая распределенная СУБД:
• Горизонтальная масштабируемость
• Столбцовое хранение
Yandex ClickHouse - столбцовая система
управления базами данных:
• Высокая доступность
• Столбцовое хранение данных
7

8.

Интеграция данных
Pentaho Data Integration – ETL-инструмент
интеграции данных из исходных бизнессистем в аналитические хранилища данных:
• Широкий выбор элементов (step)
разработки ETL-процессов
• Возможность масштабирования и
контейнеризации
Apache Airflow – оркестратор для управления
расписанием и зависимостями между ETLпоследовательностями
8

9.

Архитектура хранилища
9

10.

Источники
Централизованная подсистема отчётности и бизнесаналитики
Функциональные
сервисы
Служебные
сервисы
Базовые сервисы
ИСОД МВД
Внешние системы
10

11.

Подключение источника данных
Способ подключения к источнику:
Прямое подключение
Доступ через API
• JDBC-соединение
• Реляционные СУБД
• Наличие технических полей в
структуре БД источника
• SQL-запрос без соединении и
аналитических функций
• Выборка данных в регламентное
время (по расписанию) –
минимальная нагрузка на БД
источника
• Получение данных из брокера
сообщений Kafka
• Наличие атрибутов создания,
изменения и удаления записи
• Нагрузка на сервис сообщений
11

12.

Этап 2. Дорожная карта
1. Разработка области хранения данных
2. Доработка компонента произвольной
отчётности
3. Реализация ограниченного набора
“предметных областей” с подключением:
НСИ
ЕСФЛ
ЕСЮЛ
Миграционный учёт
Регистрационный учёт
Трудовая миграция
Адресно-справочная работа
12

13.

Спасибо за внимание!