presentation_Erbanov_updated (1)

1.

Ербанов
Анатолий Александрович
4 курс, АТ-24, АВТФ
Разработка
нейронной сети для
поиска особых
точек на
изображении
низкого разрешения
nstu.ru
www.nstu.ru

АКТУАЛЬНОСТЬ
Задача поиска особых точек (keypoints) – одна из базовых в компьютерном зрении.
Применения: Видеонаблюдение, навигация роботов, биометрия, медицина.
Проблема: на изображениях низкого разрешения (96х96 пикс.) классические методы
(Harris, FAST, SIFT, ORB) теряют точность: детали исчезают, границы выражены
слабее.
Решение: нейросетевой подход на основе глубокого обучения (CNN).
www.nstu.ru

3.

ЦЕЛЬ И ЗАДАЧИ
Цель: разработать нейронную сеть для нахождения 15 ключевых
точек лица на изображении низкого разрешения (96x96).
Задачи:
1. Изучить существующие методы.
2. Выбрать датасет и провести предобработку данных.
3. Разработать архитектуру сверточной нейронной сети (CNN).
4. Обучить модель с контролем на валидационной выборке.
5. Оценить качество по метрикам MSE, MAE и Евклидовой ошибке.
6. Сравнить с базовыми моделями (Mean Baseline и Ridgeрегрессия) (baseline)
www.nstu.ru

4.

ДАННЫЕ И ПОСТАНОВКА ЗАДАЧИ
Датасет: Kaggle Facial Keypoints Detection.
Изображения: 96х96 пикселей, оттенки серого (1 канал).
Разметка: 15 ключевых точек лица (углы глаза, брови, нос, губы).
Каждая точка имеет пару координат (X,Y). А в выходе модели находится вектор
из 30 значений.
Из 2140 изображений мы имеем 1712 на обучение, а 428 на валидацию.(80/20).
www.nstu.ru

5.

МЕТРИКИ ОЦЕНКИ КАЧЕСТВА
www.nstu.ru

6.

МОДЕЛИ ДЛЯ СРАВНЕНИЯ (BASELINE)
www.nstu.ru

7.

АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ
Тип: Сверточная нейронная сеть (CNN) для регрессии координат.
Вход
1×96×96
серое
изображение
Блок 1
Conv2d 32
ReLU + MaxPool
→ 32×48×48
Блок 2
Conv2d 64
ReLU + MaxPool
→ 64×24×24
Блок 3
Conv2d 128
ReLU + MaxPool
→ 128×12×12
Dropout 0.3
Flatten → Linear
→ ReLU
Выход
30 координат
15 точек (x,y)
Ключевые параметры:
Параметр
Значение
Параметр
Значение
Всего параметров
~9.5 млн
Функция потерь
MSE
Объём весов
~36.4 МБ
Оптимизатор
Adam (lr=0.001)
Dropout
p = 0.3
Эпох / батч
80 / 32
www.nstu.ru

8.

ПРОЦЕСС ОБУЧЕНИЯ
Параметры обучения
Функция потерь:
MSE (среднеквадратичная
ошибка)
Оптимизатор:
Adam, lr = 0.001
Батч / Эпох:
32 изображения / 80 эпох
Регуляризация:
Dropout p = 0.3
Стратегия:
Best checkpoint (min val
loss)
www.nstu.ru

9.

ПРИМЕР ПОИСКА ИЗОБРАЖЕНИЙ
Среднеквадратичная ошибка (MSE): 0.000343
www.nstu.ru

10.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТА
Нейросеть CNN: 2.08 пикселя (~2.2% от размера изображения)
Baseline: 3.61 пикселей
Улучшение относительно Mean Baseline: ~42%
Линейная регрессия (Ridge): 2.69 пкс
Метрики (вал. выборка)
Улучшение относительно Ridge: ~22%
MSE
Ошибка по каждой ключевой точке (пкс)
Средняя ошибка
2.5
0.000343
MAE
0.012994
Евклидова ошибка
2.08 пкс
Baseline
3.61 пкс
0.5
Train Loss
0.000544
0
Val Loss
0.000337
2
1.5
1
Pt 1 Pt 2 Pt 3 Pt 4 Pt 5 Pt 6 Pt 7 Pt 8 Pt 9 Pt Pt Pt Pt Pt Pt
10 11 12 13 14 15
www.nstu.ru

11.

ЗАКЛЮЧЕНИЕ
Разработана CNN для локализации 15 ключевых точек лица на изображениях
96х96.
Проведен обзор классических методов выделения ключевых точек.
Выполнена экспериментальная проверка на датасете.
Проведено обучение модели с использованием функции потерь MSE и
оптимизатора Adam.
Выполнена количественная оценка качества и сравнение с двумя базовыми
моделями (Mean Baseline и Ridge-регрессия).
Практическая значимость работы состоит в создании воспроизводимого
программного прототипа, который может использоваться как модуль локализации
ориентиров в системах компьютерного зрения при низком качестве входных
данных.
www.nstu.ru

12.

English Русский Правила