9 лекция. Методы распознавания лиц

1. Методы распознавания лиц

2. Предварительная обработка изображения

Предварительная обработка изображения - преобразование
исходного
изображения
в
начальное
представление,
осуществляется:
геометрическое выравнивание изображения (подбор поворота
лица, при котором достигается наиболее «естественное»
положение с точки зрения человеческого восприятия);
яркостное выравнивание (преобразование изображения из
цветовой модели (RGB, CMYK) в оттенки);
выявление признаков (реализация различных математических
преобразований, направленных на извлечение характерных
признаков изображения).
Для решения задачи предварительной обработки изображений
очень часто используются различные методы сегментации.
2

3. Метод Виоллы-Джонса

Метод Виоллы-Джонса — один из немногих
методов, позволяющих обнаруживать объекты на
изображениях в реальном времени, на текущий
момент является одним из лидеров и совмещает в
себе хорошие показатели по эффективности
распознаванию и скорости работы.
Также
метод
отличается
крайне
вероятностью ложного обнаружения лица.
3
низкой

4. Метод Виоллы-Джонса

Основные принципы, на которых основан метод,
заключаются в следующем:
изображения
преобразуются
в
интегральное
представление, что позволяет быстро вычислить
необходимые признаки;
для поиска нужного объекта используются признаки
Хаара, с помощью которых происходит определение
искомого объекта (в данном контексте, лица человека
и его особенностей);
для выбора наиболее важных признаков искомого
объекта на исследуемой части изображения
применяется алгоритм бустинга (англ. boost –
улучшение, ускорение).
4

5.

Метод Виоллы-Джонса
На вход алгоритму подается изображение в
интегральном представлении I(r,c) размером W х H,
где I(r,c) – яркостная характеристика изображения.
Результатом работы алгоритма будет являться
множество прямоугольных областей R(x,y,w,h),
определяющих положение искомого объекта (лица)
в исходном изображении I.
5

6.

Метод Виоллы-Джонса
В качестве основного объекта, с которым
осуществляется работа в алгоритме
«Виолы-Джонса»,
используется
сканирующее окно.
Сканирующее окно – окно, в пределах
которого
происходит
сканирование
специальными признаками.
6

7.

Алгоритм Виолы-Джонса
Вход
(Изображение,
видео)
Модуль локализации
Представление изображения в интегральном виде
Разделение изображения на несколько сканирующих окон
Выбор еще несканированного окна
Отметка найденного лица
на изображении
Сканирование
(Признаками Хаара)
[Таких окон больше нет]
Выход
(Локализованное лицо)
7

8.

Метод Виоллы-Джонса
В качестве признаков для сканирования в алгоритме
Виолла-Джонса предлагаются прямоугольные элементы,
изображенные на рисунках 5-7 – признаки Хаара, они
делятся на три основных типа:
граничные;
центральные;
линейные.
Эти признаки дают точечное значение изменения
величины яркости вдоль осей X и Y. Признак Хаара для
распознавания лиц представляет собой набор из двух
смежных прямоугольников, которые лежат над глазами и
на щеках.
8

9.

Метод Виоллы-Джонса
Граничные признаки Хаара
«Центральные» признаки Хаара
Линейные признаки Хаара
9

10.

Метод Виоллы-Джонса
Значение признака вычисляется по формуле:
F=X-Y,
где X – сумма значений яркостей точек закрываемых
белой частью признака, Y – сумма значений яркостей точек
закрываемых черной частью признака. При расчете
признаков
изображения.
10
используется
концепция
интегрального

11.

Метод Виоллы-Джонса
Бустинг – комплекс методов, способствующих
повышению точности аналитических моделей, в процессе
которого осуществляется последовательное построение
композиции алгоритмов машинного обучения, когда в каждом
последующем слое (классификаторе) осуществляется
компенсирование недостатков композиции всех предыдущих
слоев.
В результате работы алгоритма бустинга на каждой
итерации формируется простой (слабый) классификатор
вида:
где p - направление знака неравенства, f(x) - вычисляемое значение признака
Хаара, Ɵ - значение порога, x - окно изображения (в авторском варианте 24х24).
11

12.

Метод Виоллы-Джонса
Задача слабого классификатора – угадать присутствие объекта более чем в
50% случаев.
После
формирования
простого классификатора,
осуществляется
комбинирование
классификаторов
в
каскадную модель, для
сосредоточения работы на
наиболее информативных
областях.
12

13.

Метод Виоллы-Джонса
Для обучения такого каскада последовательно реализуется
следующий набор действий:
устанавливаются пороговые значения уровня ошибки для каждого
этапа;
наращиваются признаки до тех пор, пока параметры вычисляемого
этапа не достигнут заданного порога отклонения;
при высоком уровне ложных детектирований объекта добавляется
дополнительный слой, с увеличенным числом примитивов (ложные
обнаружения на текущем этапе используются как отрицательные на
новом слое).
После обучения на тестовой выборке получаем обученную базу
знаний состоящую из слабых классификаторов. Для каждого из них
известны: признак Хаара, используемый в этом классификаторе, и его
положение внутри окна размером 24х24 пикселя, а также пороговое
значение E.
13

14.

Метод Виоллы-Джонса
Метод Виолы-Джонса является одним из лучших представителей, в
области методов локализации лиц, и совмещает в себе следующие
преимущества:
возможность обнаружения одновременно нескольких лиц на изображении;
низкую вероятность ложных обнаружений лиц;
устойчивость к распознаванию черт лица с искажениями поворота, до 30
градусов;
довольно большую скорость работы;
возможность использования в видеопотоке.
Метод является сложнообучаемым и предполагает долгий процесс
обучения, из-за необходимости подготовки и обработки большого числа
тестовых данных.
14

15.

Классификация или распознавание
Классификация – последний блок используемый в програмных реализациях
систем по распознаванию изображений.
На данном этапе осуществляется сравнение признаков и принимается
решение об отнесении объекта к определённому классу. Решение является
положительным, если вычисленные ранее признаки укладываются в
допустимый порог отклонения от заложенных в базу данных эталонов.
В процессе анализа алгоритмов распознавания лиц был выделен ряд
наиболее популярных подходов:
метод главных компонент;
метод гибкого сравнения на графах;
активные модели внешнего вида;
- нейронные сети.
Одними из самых распространенных методов распознавания лиц яв-ляются
метод активных моделей внешнего вида (Active Appearance Models), метод
гибкого сравнения на графах (Elastic Graph Matching) и метод главных
компонент
(Principal Component Analysis).
15

16.

Классификация или распознавание
Вход
(Изображение)
Алгоритм метода гибкого
Модуль распознавания
сравнения на графах
Построение графа на основе антропометрических точек лица
Вычисление признаков Габора в каждой вершине
Недостатки:
высокая вычислительная
сложность
процедуры
распознавания;
Осуществление деформации графа
низкая технологичность
при
запоминании
новых
эталонов;
Сравнение двух графов при
помощи ценовой функции
деформации
Выход
(Результат
классификации)
16
Да
Достигнуто
максимальное
сходство с
эталоном?
Нет
линейная
зависимость
времени работы от размера
базы данных.

17.

Классификация или распознавание
Инициализация
Модуль распознавания
Построение векторов для известных
изображений
Построение вектора для исходного
изображения
Алгоритм метода
главных компонент
Формирование матрицы векторов
Составление матрицы ковариации
Вычисление собственных значений
и собственных векторов
Построение матрицы
преобразования данных
17
Построение проекции для вектора в
пространство компонент путем
умножения вектора на матрицу
преобразования данных
Недостатки:
хранение
и
поиск
изображений в больших
базах данных;
высокие требованиях к
условиям
съёмки
изображений.
(близкие
условия освещённости);
Нахождение ближайшего
сохраненного вектора к
распознаваемому вектору
необходимость
качественной
предварительной обработки,
приводящей изображения к
стандартным условиям.

18.

Классификация или распознавание
Вход
(Изображение
с содержанием лица)
Классификатор
Алгоритм метода активных
моделей внешнего вида
Разметка изображений
(ручное расположение антропометрических точек)
Недостатки:
необходимость
качественной
предварительной обработки и
точной локализации лица
Нормализация форм
(прокрустов анализ)
расстановка
антропометрических
проводимая вручную.
Метод главных компонент
(Сопоставление особенностей лица)
Выход
(Результат идентификации)
18
точек

19.

Классификация или распознавание
Активные модели
внешнего вида
Метод главных
Характеристика
компонент
сравнения на графах
Устойчивость к положению лица
+
+
+
Устойчивость к изменениям освещения
-
+
+
Устойчивость к небольшим углам поворота
+
+
+
Устойчивость к эмоциональным искажениям
+-
+-
+
Возможность использования для идентификации
+
+
+
+
+
-
+
-
+
+
-
+
Возможность
добавления
нового
лица
без
переобучения
Высокая технологичность при запоминании новых
эталонов
Быстрое распознавание
19
Метод гибкого