Mask R-CNN: извлечение данных из паспортов

1. Mask R-CNN: извлечение данных из паспортов

Егор Гаврилов

2. Дисклеймер

В данной презентации использованы изображения паспортов,
взятые в открытых источниках, я не имею цели раскрыть чьи-либо
персональные данные.

3. О чем поговорим?

проблема поиска полей на паспорте;
задачи компьютерного зрения;
Mask R-CNN и особенности архитектуры на примерах;
повышение качества;
итоги.

4. Проблема

Большой поток данных,
который обрабатывается
вручную.

5. Извлечение фактов из паспорта

6. Извлечение фактов из паспорта

7. Извлечение фактов из паспорта

8. Извлечение фактов из паспорта

9. Нейронные сети

10. Задачи компьютерного зрения

11. Задачи компьютерного зрения

12. Проблемы Object Detection

13. Проблемы Semantic Segmentation

14. Поиск объектов на изображениях

15. Где еще можно применить

16. Faster R-CNN FCN (FPN)

Mask R-CNN
Faster R-CNN
FCN (FPN)

17.

Convolutional layers

18.

Feature maps

19.

Feature maps

20.

Region Proposal Network (RPN)

21. Region Proposal Network

22. RPN Predictions

23.

Classifier and RoI pooling

24. Roi Pooling

25. Roi Pooling

26. RoiAlign

27. Классификация и выравнивание рамок

28. FPN

29. Генерация масок

30. Что получилось

31. Что получилось

32. Метрики

33. F1-мера

34. Результат

f1-мера ~70%
Не намного лучше,
чем раньше

35. Аугментации

36. Аугментации

37. Синтетические данные

38. Результат

F1-мера чуть больше 90%
Оборачиваем в сервис и встраиваем

39. Плюсы

• большая точность;
• Instance Segmentation;
• обучена на coco датасете (может находить людей, машины,
собак, кошек, пончики и многое другое);
• можно взять и дообучить.

40. Минусы

• долгое обучение (6 ч. на 8 GB GPU);
• работает дольше других сетей (3-4 сек. CPU, 0.4-0.5 сек. на GPU);
• тяжелые модели (требуется > 5 GB).

41.

42. Полезные ссылки

●https://github.com/matterport/Mask_RCNN - реализация на keras
●https://github.com/aleju/imgaug - библиотека для аугментации
●https://github.com/albumentations-team/albumentations - еще одна
библиотека для аугментации
●https://habr.com/ru/post/421299/ - развитие и особенности
архитектуры
●https://arxiv.org/pdf/1703.06870.pdf - научная работа по
Mask R-CNN
@EgorGavrilov