Бесперебойность инфраструктуры: переход на L3 и BGP для ЦОД

ПРОБЛЕМА
Текущие слабые места инфраструктуры
Broadcast Storm
Критическая проблема
Широковещательные штормы распространяются на всю L2-сеть ЦОД,
вызывая массовые сбои.
Сеть ЦОД использует адресацию уровня L2 , что создаёт высокие
риски недоступности сервисов при петлях, сетевых штормах и сбоях
оборудования.
Проблемы с STP
Spanning Tree Protocol ограничивает масштабируемость и создаёт
задержки при перестроении.
Ограниченная масштабируемость
L2-сегмент ограничен 4096 VLAN, что сдерживает рост инфраструктуры.
Уровень риска
Человеческий фактор
ВЫСОКИЙ (85%)
Некорректная настройка оборудования клиентов может затронуть всю
подсеть.
Решение: Переход на L3-маршрутизацию в ЦОД-ах обеспечит изоляцию широковещательных доменов и повысит отказоустойчивость.

3.

СТРАТЕГИЯ
Двухэтапная стратегия реализации
Последовательный подход к модернизации инфраструктуры
1
Этап 1
2
Переход на L3-маршрутизацию
Этап 2
Отказоустойчивость сервисов
Изоляция широковещательных доменов
Активно-активная конфигурация
Внедрение протокола BGP как основного
Единый балансировщик нагрузки
Устранение рисков broadcast storm
RTO: 30 минут
Бюджет этапа
37 млн ₽
Бюджет этапа
346 млн ₽
Логика последовательности: Сначала стабилизируем сетевую основу (L3-маршрутизация), затем строим отказоустойчивость поверх надёжной
инфраструктуры. Это минимизирует риски и обеспечивает предсказуемость результатов.

4.

ЭТАП 1 • 2026 ГОД
Цели первого этапа модернизации сети
Упростить управление сетью
Повысить доступность и
отказоустойчивость
Улучшить видимость и
диагностику
BGP стандартный протокол маршрутизации, хорош
о документированный и поддерживаемый боль
шинством вендоров.
Единая плоскость управления (Control Planel) н
а базе BGP упрощает конфигурацию и монитор
инг.
Меньше зависимостей от проприетарных прот
околов L2 (например, VRRP, STP и его варианто
в).
BGP быстро пересчитывает маршруты при
сбоях (срабатывание механизмов BGP Fast
Fallover, BFD).
Равномерная балансировка нагрузки трафика
между лифами и спайнами за счёт ECMP
(Equal-Cost Multi-Path).
Отсутствие единой точки отказа: каждый лиф и
меет независимые сессии BGP с несколькими с
пайнами.
Маршрутизация на L3 даёт чёткую картину
путей трафика (команды show route, show route
advertising, show bgp summary).
Проще выявлять петли, неоптимальные
маршруты и проблемы с балансировкой.
Бизнес-ценность
Технические преимущества L3
Снижение рисков финансовых потерь от простоя
Маршрутизация на основе IP-адресов
Повышение стабильности критических сервисов
Поддержка динамического протокола BGP
Подготовка инфраструктуры к масштабированию
Гибкое управление трафиком и политиками

5.

ЭТАП 1 • АРХИТЕКТУРА
Структурная схема сети передачи данных
Плюсы со стороны ОТИС:
Перевод СПД и серверов на
протокол маршрутизации BGP.
Вынесение балансировщика в
отдельный внешний контур
Плюсы со стороны ДИТ:
Минимизация влияния одного ДЦ
от другого
Проработаны варианты
последующего масштабирования
Плюсы со стороны ИБ:
Схема согласована с ИБ
Не требует закупки оборудования
Поддерживает проекты по
сегментации и внедрение средств
защиты.

6.

ЭТАП 1 • ФИНАНСЫ
Стоимость и сроки реализации первого этапа
Структура затрат
37 млн ₽
0
Срок реализации
Конец 2026 года
Новое оборудование на этапе 1 не требуется
37
Выполнение работ
37 млн ₽
Проектирование сети – существующая ставка (подбор)
Настройка L3 – необходим дополнительный ресурс (ОТИС 320 ч/ч)
Оборудование
Архитектурное исследование приложений для работы L3–
Работы
собственными силами
Сопровождение работ при переводе серверов – собственными
силами
Перенастройка серверов – собственными силами (ОАИС)
Начало работ
Q2 2026
Длительность
8-10 месяцев
Завершение
Q4 2026

7.

ЭТАП 2 • 2027 ГОД
Цели второго этапа отказоустойчивости
Функционирование при сбое ЦОД
Обеспечение работы всех критических сервисов при полном выходе из
строя одного из дата-центров.
Резервирование сервисов
Полное дублирование критических сервисов в ЦОД с переключением не
более 30 минут.
Единый балансировщик
Гарантированное время полного восстановления
сервисов компании
30 мин
Время полного восстановления работы сервисов после сбоя одного из ЦОД
Перенос трафика на единый балансировщик нагрузки.
Резервирование места в ЦОД
Резервирование места и мощности в ЦОД для прогнозируемого
расширения до 2028 года.
Бизнес-результат второго этапа
Уровень доступности
99.95%
<4ч
Целевой уровень
Простой в год

8.

ЭТАП 2 • АРХИТЕКТУРА
Концептуальная схема развития инфраструктуры ДЦ
Отказоустойчивая архитектура после реализации обоих этапов
Плюсы схемы:
Гарантированное время
переключения 30 минут
Все ключевые сервисы Манго
переживают выход из строя
одного ДЦ
Все сетевые каналы между ДЦ
зарезервированы
Минусы схемы:
Проблемы с масштабированием
после 2028 года
Постоянные затраты на переезд
Ручное переключение части
сервисов

9.

АНАЛИЗ ВАРИАНТОВ
Сравнительный анализ вариантов реализации
Вариант 1 - размещение в 1 ДЦ
+
Вариант 2 – размещение в 3 ДЦ
Вариант 3 - органический рост
-
+
-
Простота управления
Поиск ДЦ и последующий
переезд серверов
Физически оборудование
сейчас размещается в 3
ДЦ
Такая логика работы
частью сервисов не
предусмотрена.
Необходимы доработки
ПО.
Минимизация OPEX
Такая логика работы
частью сервисов не
предусмотрена.
Необходимы доработки
ПО.
100% использование
CAPEX
OPEX для аренды
резервных стоек.
Высокая
отказоустойчивость (после
доработки ПО)
OPEX На аренду каналов
связи между ДЦ
Отсутствует
необходимость в
балансировке.
OPEX На аренду каналов
связи между ДЦ
Минимизация CAPEX ИБ
Единая точка отказа
Необходимость
балансировки
вычислительных
мощностей.
Высокая
отказоустойчивость (после
доработки ПО)
Дополнительный CAPEX на
оборудование ИБ
Минимизация OPEX на
аренду каналов связи
между ДЦ
Что делать, когда ресурсы
ДЦ закончатся?
CAPEX на оборудование
ИБ
Минимальные расходы на
OPEX аренды стоек.
Не требуется доработка
ПО
+
OPEX на аренду резервных
стоек
Стратегическая цель: Вариант 3
После проведения исследований и подтверждения технической возможности
- миграция на премиум уровень.
-

10.

ЭТАП 2 • ФИНАНСЫ
Стоимость и сроки реализации второго этапа
346 млн ₽
Структура затрат
Срок реализации
Конец 2027 года
53
7
Оборудование
286 млн ₽
274
Серверное оборудование, L3-коммутаторы, маршрутизаторы,
оборудование ИБ, оптические модули, кабельная инфраструктура.
Затраты на размещение
53 млн ₽
Аренда стоек в новых ДЦ (с учетом экономии от отказа стоек в
Оборудование
текущих ДЦ), резерв стоек в ДЦ до 2028 года.
Выполнение работ
7 млн ₽
Начало работ
Q4 2026
Работы
Условия завершения
Доработка приложений под изменения в сетевой инфраструктуре,
монтаж, настройка, тестирование.
Размещение
Начало второго этапа после успешного завершения первого. Окончание зависит от результатов
архитектурных исследований, проведённых параллельно с первым этапом.
Длительность
12-14 месяцев
Завершение
Q4 2027

11.

Проект критически важен
для бизнеса
Предотвращение потерь
Рекомендация
Конкурентное преимущество
Масштабируемость
383

English Русский Правила