Похожие презентации:
Методы поиска областей открытия и закрытия в видео и способы их улучшения
1. Методы поиска областей открытия/закрытия в видео и способы их улучшения
Великанов МаксимVideo Group
CS MSU Graphics&Media Lab
2. Содержание
Введение
Методы поиска областей открытия/закрытия
Методы построения оптического потока
Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
2
3. Введение Оптический поток
1 кадр2 кадр
оптический поток
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
направление движения
A. Dosovitskiy et al., “FlowNet: Learning optical flow
with convolutional networks,” in ICCV, 2015
3
4. Введение Области открытия/закрытия
видеоCS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
оптический поток
области открытия/закрытия
https://github.com/visinf/irr
4
5. Введение FlowNet — encoder
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
5
6. Введение FlowNet — decoder
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
6
7. Введение PWC-Net (1)
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
D. Sun et al., “Models matter, so does training:
an empirical study of CNNs for optical flow
estimation,” in IEEE TPAMI, 2019
7
8. Введение PWC-Net (2)
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
D. Sun et al., “PWC-Net: CNNs for optical flow using
pyramid, warping, and cost volume,” in CVPR, 2018
8
9. Содержание
• Введение• Методы поиска областей открытия/закрытия
• IRR-PWC
• FlowNet-CSSR
• ContinualFlow
• Методы поиска оптического потока
• Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
9
10. IRR-PWC Суть метода
• Прогоняют поток через одну и ту же сеть несколько раз,в основе — зарекомендовавшие себя архитектуры
• Одновременное вычисление потока и областей
открытия/закрытия
• Прямое и обратное вычисление оптического потока
• Билатеральная фильтрация
• “Super-resolution” для областей о/з
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
10
11. IRR-PWC Общая архитектура
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
11
12. IRR-PWC Применение IRR к FlowNetS
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
12
13. IRR-PWC Дополнительные улучшения
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
13
14. IRR-PWC Увеличение разрешения областей о/з
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
14
15. IRR-PWC Применение к PWC-Net (1)
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
15
16. IRR-PWC Применение к PWC-Net (2)
CS MSU Graphics&Media Lab (Video Group)www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
16