Презентация_ВКР_Суслов (2)

1.

Исследование методов управления
дорожным трафиком с использованием
теории многоагентных систем
Магистерская диссертация
Направление: 09.04.02 — Информационные системы и технологии
Профиль: Интеллектуальные коммуникационные технологии
Выполнил: Суслов А. А., группа ИСТ-411м
Руководитель: к.т.н., доцент Бондаренко И. Б.
Санкт-Петербург, 2026
1

2.

Цель, задачи и научная новизна
Цель: построение карты применимости методов мультиагентного управления светофорными объектами
в пространстве характеристик задачи
Задачи
Объект исследования
Процессы управления светофорными объектами в уличнодорожной сети
—
исследовать предметную область и теорию
мультиагентных систем
—
разработать унифицированный протокол сравнения
методов
—
подготовить симуляционную среду на базе SUMO
Предмет исследования
—
провести экспериментальное исследование при
разных условиях
Методы управления светофорами на основе мультиагентных
систем и зависимость их эффективности от характеристик
задачи
Научная новизна
Формальное пространство характеристик задачи и
эмпирическая карта применимости с теоретическим
обоснованием границ между регионами доминирования
методов
2

3.

Раздел 1. Управление трафиком:
классические подходы
Управление светофорными объектами — ключевой инструмент воздействия на транспортный поток на оперативном
уровне
Ограничения классических методов
—
плохая адаптация к меняющимся режимам
трафика
—
слабая координация соседних перекрёстков
—
неэффективное распределение зелёного времени
—
зависимость от централизации управления
2
3
«ИДЖ»
действующих ГОСТ на светофорные объекты в
РФ
уровня управления: стратегический, тактический,
оперативный
нацпроект «Инфраструктура для жизни»
3

4.

Раздел 1. Мультиагентный подход и
пробел в исследованиях
Мультиагентная парадигма
Проблема существующих сравнений
Светофор = автономный агент, взаимодействующий
асимметрия наблюдений между методами
с соседями для оптимизации потоков.
узкий диапазон тестовых сценариев
Методы: SOTL, MaxPressure, аукционы,
разные симуляторы, топологии и метрики
мультиагентное обучение с подкреплением (MARL)
нет систематической вариации параметров
Пробел: для практического выбора метода нужен не точечный результат,
а карта применимости — отображение характеристик задачи в рекомендуемый класс методов
4

5.

Раздел 2. Постановка задачи:
перекрёсток как агент
Транспортная сеть формализуется как граф; каждый
перекрёсток — агент в мультиагентной системе
Наблюдение
длины очередей на входящих полосах и текущая
активная фаза
Действие
выбор фазы светофора на текущем такте управления
Награда
снижение суммарной задержки транспортных средств в
сети
5

6.

Раздел 2. Параметризация пространства
задач
Четыре характеристики задачи, формализованные численно и связанные с теоретическими свойствами методов
Гипотезы. Сформулировано 7 фальсифицируемых гипотез H1–H7 с конкретными численными порогами о структуре
карты применимости
6

7.

Раздел 2. Унифицированный протокол и
среда экспериментов
8 сравниваемых методов
Среда и инфраструктура
—
Default, Webster — фиксированный цикл
—
SUMO — микроскопический симулятор
—
Actuated — актуируемое управление
—
Python, sumo-rl, PyTorch
—
SOTL — локальная самоорганизация
—
RESCO benchmark — топологии
—
MaxPressure — теория очередей
—
единый вектор наблюдений и действий
—
IDQN, MAPPO, MPLight — MARL
Унификация: все методы получают одинаковые наблюдения и работают в одном пространстве действий — это
устраняет асимметрию сравнений
7

8.

Раздел 3. Реализация и верификация
методов
Все 8 методов реализованы в едином программном фреймворке; корректность проверена на эталонных сценариях
Классические
MaxPressure
MARL
Webster — расчёт цикла
давление по всем фазам
IDQN — независимые Q-сети
по критическим интенсивностям
каждый такт управления
MAPPO — централизованный критик
Actuated — встроенный
выбор фазы с максимумом
MPLight — parameter sharing
актуируемый режим SUMO
измерение очередей до 100 м
обучение 100 эпизодов
Верификация. Sanity-check на изолированном перекрёстке: все методы кроме Default в пределах ±20 % от Webster. MARL
верифицированы по кривым обучения
8

9.

Раздел 3. Зависимость от плотности
спроса
MaxPressure стабилен
задержка 66–70 с почти не зависит от
плотности — подтверждает стабилизацию
очередей
Webster деградирует
рост со 101 до 130 с; разрыв с MaxPressure
достигает 46 %
MARL — лидеры
IDQN и MPLight дают 60–65 с, опережая
MaxPressure на 5–10 %
9

10.

Раздел 3. Зависимость от
стационарности спроса
MaxPressure — устойчивость
Классические методы деградируют
При пиковом спросе (s=1) задержка растёт
Webster +37 %, Actuated +34 % — становятся
всего на 12 % — реагирует на фактическое
хуже Default: единая оценка спроса
состояние сети без устаревших оценок
не работает в нестационарном режиме
10

11.

Раздел 3. Двумерные карты
применимости
Карты выявляют регионы доминирования методов в плоскостях характеристик задачи
Плотность × симметрия (s = 0)
Симметрия × стационарность (ρ = 0.6)
Ключевой фактор — стационарность: при s=0 доминируют IDQN и MPLight, при s≥1 — MaxPressure
11

12.

Раздел 3. Проверка гипотез
Статистически корректная проверка с U-критерием Манна-Уитни и поправкой Холма-Бонферрони
H1
MARL не превзойдёт MaxPressure при стац. спросе
опровергнута
H3
SOTL применим на малых сетях
опровергнута
H4
Преимущество над Webster ограничено 15 %
опровергнута
H2, H5
Поведение MARL при нестационарности
частично подтв.
H6, H7
Эффекты на сети N = 25
требуют расширения
Опровержение гипотез — содержательный научный результат: оно уточняет границы применимости методов
12

13.

Раздел 3. Сравнение MARL: negative
result по MAPPO
IDQN и MPLight — успех
off-policy обучение, 32 млн эффективных
обновлений; MPLight обучается в 4 раза быстрее
MAPPO уступает всем
политика остаётся почти случайной даже после
100 эпизодов (энтропия 15–20 бит)
Причины negative result
on-policy неэффективность, шум от
нерелевантных агентов в критике, отсутствие
architectural prior
13

14.

Раздел 3. Обобщающая способность
IDQN (OOD-тест)
Модель IDQN, обученная на одной точке (ρ=0.6, σ=1, s=0), протестирована на всех 36 точках пространства
34 / 35
58.5 с
p ≤ 0.016
точек: OOD-модель превосходит
MaxPressure
на низкой плотности — лучше
специально обученной модели
статистическая значимость
преимущества
Вывод: IDQN можно обучить однократно на характерном сценарии и применять
в широком диапазоне условий движения — преимущество не артефакт совпадения обучения и теста
14

15.

Раздел 3. Алгоритм выбора метода
управления
N≤4
Webster / Actuated при s=0; MaxPressure при s≥1
s = 0, есть ресурсы
IDQN или MPLight — выигрыш 3–10 % к MaxPressure
s ≥ 1 или нет данных
MaxPressure — универсальный выбор без обучения
Финал
валидация на исторических данных конкретной сети
15

16.

Раздел 3. Сопоставление с RESCO
benchmark
Результаты верифицированы по данным RESCO benchmark (Ault & Sharon, NeurIPS 2021)
Параметр
RESCO benchmark
Настоящая работа
~30 %
32–46 %
~12 % (1M+ шагов)
5–10 % (100 эпизодов)
MPLight
лучший метод
сопоставим с IDQN, x4 быстрее
MAPPO (CTDE)
не тестировался
negative result: хуже IDQN
Gap MaxPressure / Fixed-time
Gap IDQN / MaxPressure
Качественные выводы совпадают с RESCO; работа дополняет их negative result по MAPPO
16

17.

Заключение
Цель работы достигнута: построена карта применимости методов мультиагентного управления
светофорами
Решённые задачи
Результаты и новизна
—
проанализирована предметная область и теория MAS
—
формальное пространство характеристик задачи
—
разработан унифицированный протокол сравнения
—
—
подготовлена среда на базе SUMO
эмпирическая карта применимости с обоснованием
границ
—
проведено экспериментальное исследование 8 методов
—
формализованный алгоритм выбора метода
—
методологический шаблон корректного сравнения
методов
Апробация работы. Результаты доложены на научных конференциях:
«Подвижная связь и моделирование» (ПКМ) 2025 · «Студенческая весна» 2026
17

18.

Список использованных источников
Основные источники (полный список — 60+ наименований в пояснительной записке)
1
ГОСТ Р 52289-2019. Технические средства организации дорожного движения. — М.: Стандартинформ, 2020. — 138 с.
2
ГОСТ Р 56829-2015. Интеллектуальные транспортные системы. Термины и определения. — М.: Стандартинформ, 2016. — 18 с.
3
Жанказиев С. В. Интеллектуальные транспортные системы: учебное пособие. — М.: МАДИ, 2016. — 120 с.
4
Webster F. V. Traffic Signal Settings // Road Research Technical Paper. — London: HMSO, 1958. — № 39. — 45 p.
5
Varaiya P. Max pressure control of a network of signalized intersections // Transportation Research Part C. — 2013.
6
Ault J., Sharon G. Reinforcement Learning Benchmarks for Traffic Signal Control (RESCO) // NeurIPS. — 2021.
7
Yu C. et al. The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games // NeurIPS. — 2022.
8
Chen C. et al. Toward A Thousand Lights: Decentralized Deep RL for Traffic Signal Control (MPLight) // AAAI. — 2020.
9
Schulman J. et al. Proximal Policy Optimization Algorithms // arXiv:1707.06347. — 2017.
10
Roess R. P., Prassas E. S., McShane W. R. Traffic Engineering. — 4th ed. — Pearson, 2011. — 744 p.
18