Новая аналитическая платформа

1.

Новая аналитическая
платформа

2.

Текущее положение дел

3.

Текущие проблемы
1) Сложная поддержка
2) Переизбыток данных на уровне MSBI
3) Частые сбои
4) Сложная интеграция новых источников данных (не SAP)
5) Нет реал тайма
6) Невозможность частичной интеграции (не SAP)
7) Долгие запросы
8) Нет доступа к данным через API(JDBC)
9) Отказоустойчивость
10)Один BI инструмент
11)Дата сайнтисты не удовлетворены

4.

Требования
1) Простое и быстрое подключение источников данных (сервисы, sap,
google analytics)
2) Реал тайм аналитика
3) Скорость
4) Простая масштабируемость
5) Высокая отказоустойчивость
6) Быстрое восстановление после сбоев
7) Доступ по API
8) Удовлетворение датасайнтистов

5.

Вот так будет норм
Источники данных
1
2
Сырые данные
Структурированные
данные
4

6.

Стрелочка 1
Источники данных
Schema Registry
Kafka клиент

7.

8.

Вот так будет норм
Источники данных
1
2
Сырые данные
Структурированные
данные
4

9.

Стрелочка 2
Schema Registry
Analytic Receiver
3

10.

Стрелочка 3
Schema Registry
Transformer

11.

ID
CHANGE_AT
DATA
hash(6666666)
1566542606999
{"id":6666666,"state":"check
out"...}
ORDER
ID
CHANGE_AT
STATE
PRICE_TOTAL
USER_ID
6666666
1566542606999
checkout
1948
112039
ORDER_POSITIONS
ID
ORDER_ID
PRODUCT_ITEM_ID
CHANGE_AT
PRICE_BASE
6623453
6666666
427324
1566542606999
1799

12.

Вот так будет норм
Источники данных
1
2
Сырые данные
Структурированные
данные
4

13.

Стрелочка 4
Schema Registry
Transformer

14.

L_H_ORDER_H_USER
H_USER
H_ORDER
S_H_ORDER_STATE
S_H_ORDER_PRICE_TOTAL
L_H_ORDER_POSITION_H_ORDER
L_H_ORDER_POSITION_H_MATERIAL
H_ORDER_POSITION
S_H_ORDER_POSITION_PRICE_BASE
H_MATERIAL

15.

H_ORDER
H_ORDER_POSITION
ID
ORDER_ID
ID
POSITION_ID
1
6666666
1
112039
S_H_ORDER_STATE
S_H_ORDER_POS_PRICE_BASE
H_ORDER_ID
STATE
H_ORDER_POS_ID
PRICE_BASE
1
checkout
1
1799
H_MATERIAL
ID
PRODUCT_ITEM_ID
1
427324
S_H_MATERIAL_NAME
H_MATERIAL_ID
NAME
1
Цемент
L_H_ORDER_POS_H_ORDER
H_ORDER_POS_ID
H_ORDER_ID
1
1

16.

17.

Что еще нужно сделать
1)
2)
3)
4)
5)
6)
7)
8)
Мониторинг всего и вся
Админка schema registry
SDK
Получатель данных из DWH
Переезд на локальное железо
Механизм сложных трансформаций и расчетов
Перевод всех источников на новую платформу
Частичное обновление