Обработка изображений с помощью искусственных нейронных сетей

1.

Обработка изображений с помощью
искусственных нейронных сетей
Плотникова Наталья, доцент, к.т.н.
Кафедра автоматизированных систем обработки информации и
управлений

2.

Искусственные нейронные сети
Обработка изображений с помощью искусственных нейронных сетей
2/27

3.

Искусственные нейронные сети
Обработка изображений с помощью искусственных нейронных сетей
3/27

4.

Виды искусственных нейронных сетей для обработки изображений
1. Многослойный персептрон
2. Сверточные нейронные сети
Обработка изображений с помощью искусственных нейронных сетей
4/27

5.

Представление изображения в формате RGB
Обработка изображений с помощью искусственных нейронных сетей
5/27

6.

Свёрточные нейронные сети
Свёрточная нейронная сеть — специальная архитектура искусственных нейронных сетей, предложенная
Яном Лекуном и нацеленная на эффективное распознавание образов. Данной архитектуре удаётся гораздо
точнее распознавать объекты на изображениях, так как, в отличие от многослойного персептрона,
учитывается двухмерная топология изображения.
Обработка изображений с помощью искусственных нейронных сетей
6/27

7.

Операция свертки
Обработка изображений с помощью искусственных нейронных сетей
7/27

8.

Примеры карт признаков
https://programforyou.ru/poleznoe/convolutional-network-from-scratch-part-zero-introduction
Обработка изображений с помощью искусственных нейронных сетей
8/27

9.

Задачи, решаемые нейронными сетями
применительно к изображениям
1.
2.
3.
4.
5.
Классификация
Детектирование объектов
Semantic segmentation
Instance segmentation
Генерация изображений
Обработка изображений с помощью искусственных нейронных сетей
9/27

10.

Классификация изображений
Классификация – отнесение изображения к одному или нескольким
предопределенным классам.
VGG19
Inception
ResNeXt
https://paperswithcode.com/sota/image-classification-on-imagenet
Обработка изображений с помощью искусственных нейронных сетей
10/27

11.

VGG19
Обработка изображений с помощью искусственных нейронных сетей
11/27

12.

Набор изображений ImageNet
~ 14 млн. изображений
~ 21 тыс. классов
https://www.image-net.org/
Обработка изображений с помощью искусственных нейронных сетей
12/27

13.

Детектирование объектов на изображении
Детектирование объектов – поиск и выделение
изображения, содержащих объекты определенного вида.
Обработка изображений с помощью искусственных нейронных сетей
областей
13/27

14.

Single Shot Detector
https://towardsdatascience.com/review-ssd-single-shot-detector-object-detection-851a94607d11
Обработка изображений с помощью искусственных нейронных сетей
14/27

15.

Semantic segmentation
Semantic segmentation – отнесение каждого пикселя изображения к
определенному классу.
Обработка изображений с помощью искусственных нейронных сетей
15/27

16.

UNET
Обработка изображений с помощью искусственных нейронных сетей
16/27

17.

Semantic segmentation
Обработка изображений с помощью искусственных нейронных сетей
17/27

18.

Instance segmentation
Instance segmentation – поиск и выделение маской областей
различных объектов одного семантического класса на одном
изображении.
Обработка изображений с помощью искусственных нейронных сетей
18/27

19.

Instance segmentation vs Semantic segmentation
Обработка изображений с помощью искусственных нейронных сетей
19/27

20.

MaskRCNN
Обработка изображений с помощью искусственных нейронных сетей
20/27

21.

Генерация изображений
Генерация изображений – процесс создания нового изображения на
основе имеющегося.
Обработка изображений с помощью искусственных нейронных сетей
21/27

22.

Генерация изображений
Обработка изображений с помощью искусственных нейронных сетей
22/27

23.

Генерация изображений
Обработка изображений с помощью искусственных нейронных сетей
23/27

24.

Генеративно-состязательные сети
GAN (Generative adversarial network) – алгоритм, построенный на
комбинации двух нейронных сетей, одна из которых генерирует
образцы, а другая старается отличить правильные образцы от
неправильных.
Обработка изображений с помощью искусственных нейронных сетей
24/27

25.

Инструменты
1.
2.
3.
4.
5.
Python 3
Jupyter Notebook или PyCharm
OpenCV
PyTorch
CUDA
Обработка изображений с помощью искусственных нейронных сетей
25/27

26.

Полезные ссылки
1.
2.
3.
4.
Хабр – https://habr.com/
Arxiv – https://arxiv.org/
Kaggle – https://www.kaggle.com/
Papers with code – https://paperswithcode.com/
Обработка изображений с помощью искусственных нейронных сетей
26/27

27.

Спасибо за внимание