Методы поиска областей открытия/закрытия в видео и способы их улучшения
Содержание
Введение Оптический поток
Введение Области открытия/закрытия
Введение FlowNet — encoder
Введение FlowNet — decoder
Введение PWC-Net (1)
Введение PWC-Net (2)
Содержание
IRR-PWC Суть метода
IRR-PWC Общая архитектура
IRR-PWC Применение IRR к FlowNetS
IRR-PWC Дополнительные улучшения
IRR-PWC Увеличение разрешения областей о/з
IRR-PWC Применение к PWC-Net (1)
IRR-PWC Применение к PWC-Net (2)
IRR-PWC Функция ошибки (1)
IRR-PWC Функция ошибки (2)
IRR-PWC Обучение
IRR-PWC Исследование предложенных улучшений
IRR-PWC MPI-Sintel (оптический поток)
IRR-PWC MPI-Sintel (области открытия/закрытия)
IRR-PWC Выводы
Содержание
FlowNet-CSSR Суть метода
FlowNet-CSSR Архитектура (1)
FlowNet-CSSR Архитектура (2)
FlowNet-CSSR Архитектура (3)
FlowNet-CSSR Архитектура (4)
FlowNet-CSSR Обучение
FlowNet-CSSR Исследование разных конфигураций метода
FlowNet-CSSR Сравнение методов: области о/з
FlowNet-CSSR Сравнение методов: оптический поток
FlowNet-CSSR Выводы
Содержание
ContinualFlow PWC-Net + области открытия/закрытия
ContinualFlow Использование временного домена (1)
ContinualFlow Использование временного домена (2)
ContinualFlow Сравнение различных конфигураций
ContinualFlow Функция ошибки: оптический поток
ContinualFlow Функция ошибки: области о/з
ContinualFlow Общая функция ошибки
ContinualFlow Обучение
ContinualFlow Результаты: KITTI
ContinualFlow Результаты: Sintel
ContinualFlow Общая таблица Sintel
ContinualFlow Выводы
Содержание
MFF Суть метода (1)
MFF Суть метода (2)
MFF Архитектура
MFF Baseline: FlowNetS++
MFF Baseline: GRU-RCN
MFF Обучение
MFF Функция ошибки
MFF Сравнение разных конфигураций (1)
MFF Сравнение разных конфигураций (2)
MFF Выводы
Содержание
PWC-Net+ Классические методы
PWC-Net+ Архитектура PWC-Net
PWC-Net+ Функция ошибки
PWC-Net+ Обучение
PWC-Net+ Второй протокол обучения
PWC-Net+ Сравнение результатов: Sintel
PWC-Net+ Сравнение результатов: KITTI
PWC-Net+ Характеристики сетей
PWC-Net+ Выводы
Содержание
Заключение Методы поиска областей о/з
Заключение
Планы
28.06M

Методы поиска областей открытия и закрытия в видео и способы их улучшения

1. Методы поиска областей открытия/закрытия в видео и способы их улучшения

Великанов Максим
Video Group
CS MSU Graphics&Media Lab

2. Содержание


Введение
Методы поиска областей открытия/закрытия
Методы построения оптического потока
Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
2

3. Введение Оптический поток

1 кадр
2 кадр
оптический поток
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
направление движения
A. Dosovitskiy et al., “FlowNet: Learning optical flow
with convolutional networks,” in ICCV, 2015
3

4. Введение Области открытия/закрытия

видео
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
оптический поток
области открытия/закрытия
https://github.com/visinf/irr
4

5. Введение FlowNet — encoder

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
5

6. Введение FlowNet — decoder

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
6

7. Введение PWC-Net (1)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
D. Sun et al., “Models matter, so does training:
an empirical study of CNNs for optical flow
estimation,” in IEEE TPAMI, 2019
7

8. Введение PWC-Net (2)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
D. Sun et al., “PWC-Net: CNNs for optical flow using
pyramid, warping, and cost volume,” in CVPR, 2018
8

9. Содержание

• Введение
• Методы поиска областей открытия/закрытия
• IRR-PWC
• FlowNet-CSSR
• ContinualFlow
• Методы поиска оптического потока
• Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
9

10. IRR-PWC Суть метода

• Прогоняют поток через одну и ту же сеть несколько раз,
в основе — зарекомендовавшие себя архитектуры
• Одновременное вычисление потока и областей
открытия/закрытия
• Прямое и обратное вычисление оптического потока
• Билатеральная фильтрация
• “Super-resolution” для областей о/з
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
10

11. IRR-PWC Общая архитектура

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
11

12. IRR-PWC Применение IRR к FlowNetS

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
12

13. IRR-PWC Дополнительные улучшения

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
13

14. IRR-PWC Увеличение разрешения областей о/з

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
14

15. IRR-PWC Применение к PWC-Net (1)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
15

16. IRR-PWC Применение к PWC-Net (2)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
16

17. IRR-PWC Функция ошибки (1)

Для каждой итерации обработки
English     Русский Правила