Разработка ПО для выявления тревожного поведения на основе нейросетевого анализа поз

1.

МИНОБРНАУКИ РОССИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ им.В.Г.ШУХОВА»
(БГТУ им. В.Г. Шухова)
Дипломный проект
на тему:
Разработка программного обеспечения для выявления тревожного
поведения человека на основе нейросетевого анализа поз
Студент группы ВТ-222:
Кладов Вадим Дмитриевич
Руководитель:
ст. преподаватель Бондаренко Татьяна Владимировна

2.

Актуальность, цель и задачи
Актуальность
Цель
Задачи
Разработка легковесного ПО
Анализ методов и аналогов
традиционных системах
для оперативного обнаружения
Разработка архитектуры ПО
видеонаблюдения (усталость,
тревожного поведения на
Разработка и обучение
субъективность)
основе нейросетевого анализа
нейросетевого
Высокая стоимость
последовательности
классификатора
коммерческих систем
человеческих поз
Человеческий фактор в
Реализация обработки
видеоаналитики
видеопотока в реальном
Открытые решения не
времени
работают в реальном
времени для многолюдных
сцен

3.

Подходы к анализу
Анализ сырых видео (RGB)
Гибридные методы
Скелетный анализ
Обработка каждого кадра как
Объединение информации из RGB-
Извлечение ключевых точек тела
изображения или
кадров и карт движения в одной
человека, анализ
последовательности кадров .
сети
последовательности поз во
Проблемы: большой расход памяти
Проблемы: сохраняется
и времени счёта, зависимость от
чувствительность к условиям
освещения и фона.
съёмки, растут требования к
вычислительным ресурсам.
времени с помощью рекуррентных
сетей, графовых свёрток или
механизмов внимания.
Преимущества: устойчивость к
фону, одежде, освещению; низкая
вычислительная нагрузка.

4.

Обоснование технологического стека
Для реализации данного проекта необходимы следующие компоненты:
Язык программирования - Python 3.11
Фреймворк глубокого обучения - PyTorch 2
Детектор поз - YOLOv8n-pose
Обработка видео - OpenCV 4
Python 3.11
PyTorch 2
YOLOv8n-pose
OpenCV 4
Экосистема
Доминирующее
Одновременное
Функции отрисовки
машинного обучения
положение в
обнаружение
геометрии и текста
Высокая скорость
исследовательском
множества людей в
для визуализации
разработки
сообществе
кадре
скелетов и HUD-
Личное знакомство
с технологией
Формат выхода
совместим с
панели
Стандарт в области
моделью
компьютерного
Оптимальный
зрения
баланс скорости и
точности

5.

Задача и входные данные
Задача заключается в классификации временного окна. Входной тензор имеет вид:
B - размер батча
T - 64 (Длина окна)
P - 10 (Максимум людей в кадре)
F - 55 (Количество признаков на одного человека)
Состав вектора 55 признаков:
34 - координаты X, Y
17 - уверенность детектора для точки
4 - параметры "коробки" (центр, ширина, высота)

6.

Архитектура нейросетевой модели
Архитектура модели состоит из 5 блоков, которые последовательно преобразуют признаки позы в итоговый прогноз класса.
PersonCNN
1
Извлечение признаков позы
2
InteractionAttention
Учет взаимодействий
BiLSTM
3
Моделирование временной динамики
4
TemporalAttention
Взвешивание значимых кадров
ClassifierHead
Итоговая классификация
5

7.

Блок 1: Извлечение признаков позы
Преобразует сырой вектор признаков человека в эмбеддинг-представление.
Вход:
Тензор признаков (B, T, P, 55)
Архитектура блока - 2 полносвязных слоя
В блоке используется функция активации GELU вместо ReLU, так как является более плавной.
Выход:
Тензор признаков (B, T, P, 256)

8.

Блок 2: Анализ взаимодействий
Учёт взаимного расположения и групповых взаимодействий в каждом кадре
Вход:
Тензор признаков (B, T, P, 256)
Используется механизм многоголовог
о самовнимания по оси P - каждый человек "смотрит" на остальных. Для последующей
обработки векторы людей сворачиваются через обучающий запрос.
Выход:
Тензор признаков (B, T, 256)

9.

Блок 3: Моделирование временной
динамики
Анализ эволюции поведения во времени – выявление нарастающих паттернов
Вход:
Тензор признаков (B, T, 256)
Для моделирования временной динамики используется двунаправленная LSTM. В таком случае прямой проход
учитывает прошлое, а обратный - будущий контекст
Выход:
Тензор признаков (B, T, 512)

10.

Блок 4: Выбор значимых моментов
Вход:
Тензор признаков (B, T, 512)
Фокусировка на ключевых кадрах окна, подавление шума и статичных участков
Для этого блока используется механизм адаптивного внимания. Для каждого шага вычисляется оценка важности и
выполняется свертка. На результате - фиксированный вектор описывающий все временное окно.
Вход:
Тензор признаков (B, 512)

11.

Блок 5: Итоговая классификация
Вход:
Тензор признаков (B, 512)
Проекция вектора контекста в пространство классов.
В данном блоке используется двухслойный перцептрон, который уменьшает размерность до числа классов. В
данном блоке используется увеличенный Dropout = 0.4 для принуждения нейросети к обобщению.
Вход:
Тензор признаков (B, С)

12.

Структура программного обеспечения
Система спроектирована по модульной архитектуре:
Модуль предобработки
Превращает видеозаписи в числовые обучающие примеры.
Обучающий модуль
Настраивает веса модели
Модуль нейросети
Описывает архитектуру модели.
Модуль мониторинга
Запускает модель на живом видеопотоке

13.

Процесс обучения и оптимизация
Главная проблема - дисбаланс классов: нормального поведения в данных на порядок больше, чем аномалий. Без специальных приёмов модель
может «зазубрить» норму и пропускать тревожные ситуации.
Три ключевых решения
Focal Loss
AdamW + OneCycleLR
Штрафует за излишнюю
самоуверенность и помогает учиться на
редких и сложных аномалиях.
Сначала плавно разгоняет скорость
обучения, потом замедляет - это
помогает выйти из локальных
минимумов.
Маскирование пустых слотов
(Padding Mask)
Сеть «не видит» фиктивные пустые места
и работает только с реальными людьми в
кадре.
Защита от переобучения
Dropout
Layer Normalization
Early Stopping
Случайно «выключаем» часть нейронов,
чтобы сеть не запоминала шум.
Стабилизирует обучени
Останавливаем обучение, когда ошибка
на проверочных данных перестаёт
снижаться.

14.

Реализация и интерфейс мониторинга
Норма
Нападение
Стрельба

15.

Общие итоги
Теоретическая значимость
Спроектирована иерархическая архитектура
позволяющая гибко настраивать уровни обработки
Практическая значимость

16.

Перспективы развития
Масштабируемость по классам - Добавление новых типов тревожного поведения без изменения архитектуры
Edge-вычисления - Развертывание на аппаратных видеорегистраторах и edge-устройствах
Многокамерная аналитика - Объединение данных с нескольких камер для оценки поведения в большом
пространстве
Интеграция с системами безопасности - Отправка тревог в пультовые, автоматическая запись видео при
тревоге, уведомления на мобильные устройства