presentation_Erbanov_final

1.

Ербанов
Анатолий Александрович
4 курс, АТ-24, АВТФ
Разработка
нейронной сети для
поиска особых
точек на
изображении
низкого разрешения
nstu.ru
www.nstu.ru

АКТУАЛЬНОСТЬ
Задача поиска особых точек (keypoints) – одна из базовых в компьютерном зрении.
Применения: Видеонаблюдение, навигация роботов, биометрия, медицина.
Проблема: на изображениях низкого разрешения (96х96 пикс.) классические методы
(Harris, FAST, SIFT, ORB) теряют точность: детали исчезают, границы выражены
слабее.
Решение: нейросетевой подход на основе глубокого обучения (CNN).
www.nstu.ru

3.

ЦЕЛЬ И ЗАДАЧИ
Цель: разработать нейронную сеть для нахождения 15 ключевых
точек лица на изображении низкого разрешения (96x96).
Задачи:
1. Изучить существующие методы.
2. Выбрать датасет и провести предобработку данных.
3. Разработать архитектуру сверточной нейронной сети (CNN).
4. Обучить модель с контролем на валидационной выборке.
5. Оценить качество по метрикам MSE, MAE и Евклидовой ошибке.
6. Сравнить с базовыми моделями (Mean Baseline и Ridgeрегрессия) (baseline)
www.nstu.ru

4.

ДАННЫЕ И ПОСТАНОВКА ЗАДАЧИ
Датасет: Kaggle Facial Keypoints Detection.
Изображения: 96х96 пикселей, оттенки серого (1 канал).
Разметка: 15 ключевых точек лица (углы глаза, брови, нос, губы).
Каждая точка имеет пару координат (X,Y). А в выходе модели находится вектор
из 30 значений.
Из 2140 изображений мы имеем 1712 на обучение, а 428 на валидацию.(80/20).
www.nstu.ru

5.

МЕТРИКИ ОЦЕНКИ КАЧЕСТВА
www.nstu.ru

6.

МОДЕЛИ ДЛЯ СРАВНЕНИЯ (BASELINE)
www.nstu.ru

7.

ЛИНЕЙНАЯ РЕГРЕССИЯ (RIDGE REGRESSION)
•Задача: линейное отображение пикселей в координаты 15 точек.
•Почему Ridge, а не обычная линейная регрессия: признаков 9216, примеров 1712
— система переопределена, Ridge (L2-регуляризация) устраняет неустойчивость.
•Обучается на тех же нормализованных данных, что и CNN (train: 1712, val: 428).
Метрика — та же средняя евклидова ошибка.
•Ошибка Ridge на валидации: 2.69 пкс
•Вывод: Ridge использует пиксели изображения, но не способна уловить
нелинейные зависимости — именно это делает CNN.
www.nstu.ru

8.

АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ
Тип: Сверточная нейронная сеть (CNN) для регрессии координат.
Вход
1×96×96
серое
изображение
Блок 1
Conv2d 32
ReLU + MaxPool
→ 32×48×48
Блок 2
Conv2d 64
ReLU + MaxPool
→ 64×24×24
Блок 3
Conv2d 128
ReLU + MaxPool
→ 128×12×12
Dropout 0.3
Flatten → Linear
→ ReLU
Выход
30 координат
15 точек (x,y)
Ключевые параметры:
Параметр
Значение
Параметр
Значение
Всего параметров
~9.5 млн
Функция потерь
MSE
Объём весов
~36.4 МБ
Оптимизатор
Adam (lr=0.001)
Dropout
p = 0.3
Эпох / батч
80 / 32
www.nstu.ru

9.

ПРОЦЕСС ОБУЧЕНИЯ
Параметры обучения
Функция потерь:
MSE (среднеквадратичная
ошибка)
Оптимизатор:
Adam, lr = 0.001
Батч / Эпох:
32 изображения / 80 эпох
Регуляризация:
Dropout p = 0.3
Стратегия:
Best checkpoint (min val
loss)
www.nstu.ru

10.

ПРИМЕР ПОИСКА ИЗОБРАЖЕНИЙ
Среднеквадратичная ошибка (MSE): 0.000343
www.nstu.ru

11.

ПРИМЕР ПОИСКА ИЗОБРАЖЕНИЙ
Среднеквадратичная ошибка (MSE): 0.000343
www.nstu.ru

12.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТА
Нейросеть CNN: 2.08 пикселя (~2.2% от размера изображения)
Baseline: 3.61 пикселей
Улучшение относительно Mean Baseline: ~42%
Линейная регрессия (Ridge): 2.69 пкс
Метрики (вал. выборка)
Улучшение относительно Ridge: ~22%
MSE
Ошибка по каждой ключевой точке (пкс)
Средняя ошибка
2.5
0.000343
MAE
0.012994
Евклидова ошибка
2.08 пкс
Baseline
3.61 пкс
0.5
Train Loss
0.000544
0
Val Loss
0.000337
2
1.5
1
Pt 1 Pt 2 Pt 3 Pt 4 Pt 5 Pt 6 Pt 7 Pt 8 Pt 9 Pt Pt Pt Pt Pt Pt
10 11 12 13 14 15
www.nstu.ru

13.

English Русский Правила