Интеллектуальная маршрутизация в сетях ЭВМ на основе Q-learning

1.

Интеллектуальная
маршрутизация в сетях ЭВМ
на
основе
Q-learning
• Выпускная квалификационная работа
Студент: [ФИО]
Научный руководитель: [ФИО]
Группа: [Номер]
Год: 2025

2.

Актуальность темы
• • Рост объёмов трафика, IoT, 5G → усложнение сетей
• • Традиционные алгоритмы (RIP, OSPF, BGP) неэффективны в
динамичных условиях
• • Требуются адаптивные, интеллектуальные механизмы
маршрутизации
• • Обучение с подкреплением — перспективный подход

3.

Цель и задачи работы
• Цель: разработать интеллектуальный маршрутизатор на основе Qlearning
• Задачи:
• • Анализ традиционных алгоритмов
• • Изучение методов ИИ и RL
• • Реализация модели Q-learning
• • Сравнение с классическим методом (Дейкстра)

4.

Структура работы
Глава 1. Традиционные методы маршрутизации
Глава 2. Искусственный интеллект в сетевых технологиях
Глава 3. Разработка модели маршрутизатора на Q-learning
Глава 4. Практическая реализация и результаты
Заключение, приложения

5.

Q-Learning: принцип работы
• Агент обучается через взаимодействие с сетью
• Таблица Q(s, a) — накопление знаний об оптимальных переходах
• Используется ε-жадная стратегия
• Обновление Q-значений по формуле Беллмана

6.

Архитектура модели
• Генерация сети (NetworkX)
• Обучающий модуль (Q-learning)
• Таблица переходов
• Сравнение маршрутов после обучения

7.

Практическая реализация
• Симуляция сети: 10–20 узлов, случайные веса каналов
• Обучение агента (3000+ эпизодов)
• Сравнение с алгоритмом Дейкстры
• Визуализация маршрутов и стоимости

8.

Результаты и выводы
• Q-learning находит маршруты, близкие к оптимальным
• Высокая адаптивность и устойчивость
• Обучение позволяет быстро выбирать путь без пересчёта
• Подходит для IoT, SDN, облачных решений

9.

Заключение
• Все задачи выполнены, цель достигнута
• Разработана и протестирована интеллектуальная модель
• Подтверждена эффективность Q-learning в задачах маршрутизации
• Возможности для дальнейшего развития: DQN,
многокритериальность

10.

Спасибо за внимание!
• Готов ответить на ваши вопросы.