презентация

1.

Разработка системы контроля
фасадных работ на основе
нейросетевого анализа изображений
Разработка, обучение и
использования механизма
контроля фасадных работ и
их прогресса с помощью
сверточных нейросетей
YOLO, на строительных
площадках.
Иванов АН
1

2.

Контекст и подготовка данных для обучения
модели YOLO
Использован специализированный набор данных, разработанный вручную
специалистами из команды разработки, включающий 65 обучающих, 21
валидационное и 14 тестовых изображений с 10 классами объектов в YOLOформате, разрешением 640×640 и правильно организованной структурой
каталогов.
2

3.

Распределение аннотаций по классам и
наборам данных
Анализ JSON-файлов COCO из набора «Construction Coverage»
Данные по количеству меток по
10 классам в обучающем,
валидационном и тестовом
наборе с явным доминированием
классов BUILDING, m_s1 и i_s2.
Неоднородное распределение
данных требует внимания к
балансировке классов для
повышения качества модели.
Tаблица 1
"BUILDING": "Здание"
"cG_s1": "Бетон (готовый)"
"c_s1": "Бетон (черновой)"
"cr": "Кран"
"iZ_s2": "Утеплитель
(закрытый)"
"i_s2": "Утеплитель
(открытый)"
"mG_s1": "Кладка (готовая)"
"m_s1": "Кладка
(черновая)"
"pG_s3": "Штукатурка
(готовая)"
"p_s3": "Штукатурка
(черновая)"
3

4.

Пример изображения и его свойства
из обучающего набора
Изображения подготовлены с выделенными
частями объектов, что оптимизирует процесс сегментации и
представляет отдельный образец из тренировочного датасета.
Изображения имеют разрешение 640×640 пикселей с тремя
цветовыми каналами и типом данных uint8, что соответствует
стандартным требованиям обработки.
4

5.

Формат разметки сегментации и преобразование COCO в YOLO
Аннотации COCO
Поддерживается
RLE-сегментации исключаются во избежание
(Polygon) нормализуются
мультиконтурность
по ширине и высоте
сегментов, что
изображения с
обеспечивает точное
проблем с обучением,
поэтому рекомендуется предварительно
преобразовывать их в Polygon.
точностью до 6 знаков
представление сложных
после запятой для
объектов в разметке.
корректного
формирования YOLOсегмента.
# segmentation_data может быть:
# 1. Список списков (Polygon): [ [x1, y1, x2, y2, ...], [x1, y1, ...] ] - несколько контуров для одного объекта
# 2. Объект (RLE): { "counts": [...], "size": [...] }
5

6.

Архитектура модели YOLO для сегментации
Модель включает 203 слоя и около 2,8 миллиона параметров, что
обеспечивает эффективное обучение и обобщение.
Используются сверточные блоки C3k2 и SPPF для извлечения
признаков на разных уровнях абстракции, повышая качество
сегментации.
Сегментационная головка Segment усилена для улучшения
предсказаний масок с учётом специфики объектов класса
«поверхность».
Оптимизация под изображения 640×640 с использованием GPU Tesla
T4 создаёт баланс высокой точности и скорости вычислений.
6

7.

Динамика потерь (box, cls, dfl) во время
обучения
Логи обучения модели YOLO за 100 эпох
Показан прогресс снижения потерь всех трех основных
компонент на обучающей и валидационной выборках.
Минимальные значения достигаются в диапазоне 78–93
эпох, что свидетельствует об эффективном обучении и
отсутствии значительного переобучения.
7

8.

Минимальные значения потерь при обучении и
валидации
Сводная таблица ключевых показателей
ошибок с указанием эпох достижения лучших
результатов.
Потери снижаются постепенно; оптимальные
значения указывают на стабильность и
точность модели.
Показатели обучения по эпохам
8

9.

Инфраструктура для многопоточной обработки
аннотаций
Применение ThreadPoolExecutor позволяет
Контроль числа активных потоков (до 150)
эффективно распараллелить процесс
минимизирует конфликты при записи и
конвертации
обеспечивает стабильную работу без
аннотаций COCO в формат YOLO-segment,
перегрузки системы.
сокращая общее время препроцессинга.
9

10.

Процедура оценки модели
Для оценки модели выбираются N случайных изображений
10

11.

Временные показатели инференса на GPU Tesla T4
Среднее время полного цикла обработки изображения не превышает 250 мс при
разрешении 640x640.
Высокая производительность позволяет
использовать модель в реальном времени в
промышленных и строительных приложениях.
Эксперименты проводились на GPU Tesla T4 в 2025 году
Обработка:
front_20251009_095450_jpg.rf.690b03df8239e26934051f7c10bdb009.jpg
image 1/1
/content/train/dataset/train/front_20251009_095450_jpg.rf.690b03df8239e26934
051f7c10bdb009.jpg: 640x640 2 i_s2s, 4 m_s1s, 3 p_s3s
Speed: 2.8ms preprocess, 237.9ms inference, 16.4ms postprocess per image at
shape (1, 3, 640, 640)
11

12.

Перспективы использования модели YOLOv11
Обученная модель YOLOv11n-seg демонстрирует
высокую эффективность в сегментации изображений строительных
поверхностей. Следующий шаг — её интеграция в системы анализа видео
потока для обеспечения контроля работ на строительных площадках в
реальном времени, а также запуск приложений на мобильных платформах
(iOS / Android).
«Спасибо за внимание!»
Не хотел закачивать презентацию 13м слайдом
12