Направление Базы Данных Очереди и Хранилища

1.

Направление Базы Данных Очереди
и Хранилища

2.

Команда Базы Данных
SLA 99.99%
Технологии/кол-во кластеров:
Состав команды:
• Team Lead - Павел Линиченко
• 6 Инженеров
API Команды
• TiMe: ~devops
• Kaiten: Admins / INBOX
• Wiki
Наименование
AsIs
ToBe
Держатель знаний
Кто сопровождает
MongoDB
163
235
Иван Ковач
Владислав Сафронов
ElasticSearch
25
8
Руслан Мингалеев
Антон Михайлов
Clickhouse
8
12
Руслан Мингалеев
Антон Михайлов
PostgreSQL
2
8
Руслан Мингалеев
Антон Михайлов
OpenSearch
-
4
Руслан Мингалеев
Антон Михайлов
Проекты:
Система Автоматизация и Управление MongoDB
Шардирование MongoDB
MongoDB SideCar (Бесшовное переключение сервисов)
Переезд сервиса Products на PostgreSQL
Шардированные кластера Clickhouse
Переход на OpenSearch (Тех Радар – X5Tech)
Переезд в ЦОД 2 - Solar
Переезд TiMe в X5 Salt (Облако X5Tech)
Оптимизация ресурсов (Уплотнение, переход на оптимальные
стеки)
• Векторные БД (Neo4J)
Так-же мы поддерживаем:
Наименование
Держатель знаний
Кто сопровождает
Витрины Redash
Поддержка серверов
DWH/ODP/ML
Корпоративный мессенджер
TiMe
Инфраструктура БД VPROK
Инфраструктура
Robodark/Jobs
Руслан Мингалеев
Иван Ковач
Руслан Мингалеев
Антон Михайлов
Павел Линиченко
Иван Ковач
Андрей Зорин
-
Павел Линиченко
LoadAvg
65%

3.

Команда Базы Данных
SLA 99.99%
Технологии/кол-во серверов в продуктовом окружении:
Deploy:
• Ansible/AWX
• MongoDB API Orchestration service
• Gitlab CI
Observability:
• MongoDB Logger (Сбор и аннонимизация логов)
• Telegraf (Monitoring Scripts)
• Redash (Витрины)
Наименование
DC1
DC2
DC3
Total
Nodes
Util %
Util ToBe
MongoDB Docker
17
17
17
51
149
49,5%
70%
MongoDB Native
6
6
6
18
6
46,3%
60%
MongoDB Hidden
18
-
1
19
49
47,4%
90%
MongoDB Archive
1
1
1
3
14
98%
90%
ElasticSearch
25
25
25
75
100
91,6%
80%
ClickHouse
8
8
16
8
60%
80%
LoadAvg
65%
Типовые конфигурации:
MongoDB
• CPU: 32 Core
• RAM: 1024 Gb
• SSD: 4x1.92 Tb
Виды эксплуатации:
ElasticSearch
• CPU: 32 Core
• RAM: 256 Gb
• SSD: 4x1.92 Tb
MongoDB P-S-S:
• 8 x MongoDB Docker Nodes на 1 сервер в ЦОД
• 1 x MongoDB Native Node
• 16 x MongoDB Hidden Nodes для BackUP и аналитики
• 20 x MongoDB Archive на 1 сервер, холодные данные
Clickhouse
• CPU: 32 Core
• RAM: 512 Gb
• SSD: 4x1.92 Tb
Новые тех решения:
ElasticSearch:
• 4 x ES Docker Nodes на 1 сервер в ЦОД
Clickhouse:
• 1 x Nodes на 1 сервер в ЦОД
OpenSearch
• CPU: 32 Core
• RAM: 256 Gb
• SSD: 4x1.92 Tb
• 4 x Docker Nodes per Server
PostgreSQL
• CPU: 32 Core
• RAM: 512 Gb
• SSD: 4x1.92 Tb
• 4 x Docker Nodes per Server
Monitoring

4.

Команда Очереди и Хранилища
Состав команды:
• Team Lead - Вячеслав Шамов
• 6 Инженеров
Технологии/кол-во кластеров:
Наименование
AsIs
ToBe
Держатель знаний
Кто сопровождает
API Команды
Kafka
10
4
Алексей Шварц
Дмитрий Фомин
• TiMe: ~devops
• Kaiten: Admins / INBOX
• Wiki
RedPanda
0
4
Алексей Юдичев
Алексей Шварц
RabbitMQ
1
1
Алексей Юдичев
-
S3
11
9
Алексей Воронков
Артем Иванов
BackUp
2
1
Алексей Воронков
Артем Иванов
Проекты:
Переход на индивидуальные Kafka/RedPanda
Переход на RedPanda
Переход на альтернативу Minio (S3)
Система Автоматизация и Управление Kafka/Panda
Kafka/RedPanda SideCar (Бесшовное переключение
сервисов)
Миграция в ЦОД Solar
Золотые Копии
Процессы Digital во Впрок
Оптимизация ресурсов (Уплотнение, переход на оптимальные
стеки)
Интеграции на базе Kafka Proxy & MirrorMaker2
Так-же мы поддерживаем:
Наименование
Держатель знаний
Кто сопровождает
Валидация Бэкапов
Алексей Воронков
Артем Иванов
Интеграции брокеров
Инфраструктура
Robodark/Jobs
Алексей Шварц
Дмитрий Фомин
Вячеслав Шамов
SLA
99.9%
LoadAvg
48%

5.

Команда Очереди и Хранилища
Deploy:
• Ansible/AWX
• GitLab CI
• Kafka API (Orchestration service)
Технологии/кол-во серверов в продуктовом окружении:
Наименование
DC1
DC2
DC3
Total
Util
Util ToBe
Kafka
3
15
-
18
27.7%
50%
Observability
RedPanda
-
-
-
-
-
-
• Telegraf
• Kafka monitoring service (Kafka-UI/Kafka-exporter)
RabbitMQ
3
5
-
8
100%
100%
S3
12
11
12
35
39,4%
40%
Типовые конфигурации:
Kafka/RedPanda
• CPU: 16/24 Core
• RAM: 64
• SSD: 4x1.92 Tb / 4x7.68 Tb
RabbitMQ
• CPU: 16 Core
• RAM: 128 Gb
• SSD: S3 (MinIO)
• CPU: 16 Core
• RAM: 128 Gb
• SSD: 12x1.92 Tb / 24x7.68 Tb
SLA
99.9%
LoadAvg
48%
Технологии/кол-во серверов в инфра. окружении:
Наименование
DC1
DC2
DC3
Total
Util
Util ToBe
Kafka
3
9
-
12
36,3
70%
S3
15
15
9
39
37,6
70%
Виды эксплуатации:
• Kafka Native Cluster
• RabbitMQ Native Cluster
• S3 MinIO Native Cluster
Новые тех решения:
• RedPanda Native Cluster
• RedPanda Containers Cluster
Monitoring