Нейросеть GauGAN

1.

Нейросеть GauGAN

2.

В прошлом месяце на NVIDIA GTC 2019
компания NVIDIA представила новое
приложение, которое превращает
нарисованные пользователем простые
цветные шарики в великолепные
фотореалистичные изображения.
Сама NVIDIA называет его GauGAN — это
каламбур-отсылка к художнику Полу Гогену.
В основе функциональности GauGAN лежит
новый алгоритм SPADE.

3.

Представления GauGAN

4.

Архитектура
нейросети
GauGAN:
Нейросеть GauGAN
Генрация изображения
Дескриминаторы
Генераторы

5.

Архитектура
нейросети
GauGAN:
Нейросеть GauGAN
Генрация изображения
Обычная свертка 2x2 с шагом «2» превращает
каждый блок 2x2 в одну точку, уменьшая
выходные размеры на 1/2.
Транспонированная свертка 2x2 с шагом «2»
генерирует блок 2x2 из каждой точки,
увеличивая выходные размеры в 2 раза.

6.

Архитектура нейросети GauGAN:
Генрация изображения
Тренировка генератора:

7.

Архитектура нейросети GauGAN:
Генеративные состязательные сети

8.

Архитектура нейросети GauGAN:
Работа GAN нейросети
Goodfellow GAN, имитирующий наборы
данных MNIST, TFD и CIFAR-10.
Контурные изображения являются
самыми близкими в наборе данных к
смежным подделкам.

9.

Архитектура нейросети GauGAN:
Image-to-image трансляция

10.

Архитектура нейросети GauGAN:
Image-to-image трансляция

11.

Архитектура нейросети GauGAN:
Сравнение SPADE с Pix2PixHD
В pix2pixHD нормализация экземпляров
имеет тенденцию игнорировать
информацию из карты сегментации.
Для изображений, состоящих из
одного класса, сеть генерирует одно
и то же изображение независимо от
этого самого класса.

12.

Архитектура нейросети GauGAN: SPADE
Вместо того чтобы раскатывать
карту сегментации на первый
слой, SPADE использует ее версии
с пониженной дискретизацией для
модуляции нормализованных
выходных данных для каждого
слоя.

13.

Архитектура нейросети GauGAN: SPADE
Генератор SPADE объединяет всю эту конструкцию в небольшие «остаточные
блоки», которые помещаются между слоями повышающей дискретизации
(транспонированная свертка):
Высокоуровневая схема генератора SPADE в
сравнении с генератором pix2pixHD

14.

Архитектура нейросети GauGAN: SPADE
Результаты SPADE сравниваются с результатами
pix2pixHD

15.

Архитектура нейросети GauGAN:
Пример работы GauGAN

16.

Спасибо за внимание!