Аспекты систем виртуальной реальности в реальном времени lector univ. Natalia pleșca

1.

ТЕМА 7: АСПЕКТЫ СИСТЕМ ВИРТУАЛЬНОЙ
РЕАЛЬНОСТИ В РЕАЛЬНОМ ВРЕМЕНИ
LECTOR UNIV. NATALIA PLEȘCA

2.

СОДЕРЖАНИЕ УРОКА
1. Понятие «реального времени» — доступ к VR-системам без задержек
2. Типы задержек между пользовательским вводом и ответом системы.
Измерение задержек
3. Обнаружение столкновений / коллизий

3.

РЕАЛЬНОЕ ВРЕМЯ
Термин «в реальном времени» относится к способности компьютерных систем
доставлять надежные результаты в течение предсказуемого – обычно как
можно более короткого – промежутка времени
Возможность работы в режиме реального времени — одно из самых сложных
требований к системам виртуальной реальности: пользователи ожидают что
система виртуальной реальности, позволит им испытать эффекты
взаимодействий без заметных задержек

4.

ЗАДЕРЖКА В СИСТЕМАХ ВИРТУАЛЬНОЙ
РЕАЛЬНОСТИ
Фундаментальной характеристикой систем виртуальной
реальности является их интерактивность
Реалистичные впечатления от погружения в виртуальный мир возможны только тогда,
когда пользователи могут немедленно воспринимать последствия своих действий и
соотносить их со своим поведением
Промежуток времени между действием (ввод) и реакцией (ответ системы) называется
задержкой / латентностью
Чем больше латентность системы, т. е. чем больше промежуток времени между
действием и его воспринимаемыми последствиями, тем меньше вероятность того, что
пользователи будут ассоциировать новое состояние с их собственными действиями
Этот эффект можно наблюдать и в реальном мире...

5.

РАБОТА СИСТЕМЫ В РЕЖИМЕ РЕАЛЬНОГО
ВРЕМЕНИ
Система называется способной работать в режиме реального времени, если она способна
предоставлять «отзыв» на ввод в течение предсказуемого периода времени
В системах виртуальной реальности латентность должна быть ниже порога человеческого
восприятия. Для зрительного восприятия, например, 1/60 секунды обычно считается
достаточной
В некоторых других областях информационных технологий, термин «реальное время»
толкуется более строго, в том смысле, что требуется гарантированная надежность: считается,
что система способна работать в режиме реального времени, если она гарантирует
возможность реагировать на ввод в течение определенного периода времени

6.

АНАЛИЗ ПРИМЕРА
Пример нежелательного эффекта в VR, вызванного задержкой, возникающей при движении
виртуального инструмента, который связан с движениями руки пользователя через систему
отслеживания: из-за латентности объект не переносится рукой непосредственно, а,
особенно при быстрых движениях, оттягивается на большее или меньшее расстояние
В этом случае общая задержка складывается из-за задержек от системы слежения,
сетевой связи и графического вывода
Чтобы управлять интерактивной системой VR, важно знать и количественно оценивать все
задержки, которые происходят
Знание потенциальных источников задержек и того, как определить эти задержки,
должно учитываться при проектировании систем и приложений виртуальной
реальности, но также полезно для оптимизации на более поздних стадиях разработки

7.

ЛАТЕНТНОСТЬ ДЛЯ HMD
Особенностью VR/AR систем является генерация изображений, на основе отслеживания головы
пользователя. Существуют строгие требования к задержке, особенно при использовании
головных дисплеев HMD
Высокая латентность оказывает негативное влияние на пользовательский опыт. Это может
привести к головокружению и кибер-болезни
Meehan et al. (2003), например, обнаружили значительно большое количество людей,
страдающих от головокружения, когда они увеличили задержку HMD с 50 мс до 90 мс
А для HMD рекомендуется задержка менее чем 50 мс (Brooks 1999; Ellis 2009)
В стационарных проекционных системах, таких как CAVE, требования к задержке не такие
жесткие по сравнению с HMD. Здесь, когда пользователи поворачивают голову, уже отображается
изображение с примерно правильной перспективой, что снижает диссонанс между ожидаемым
изображением и представленным изображением

8.

ГДЕ НА САМОМ ДЕЛЕ ВОЗНИКАЮТ ЗАДЕРЖКИ?
После того как симуляция вычислила
новое состояние VR мира, оно должно
быть преобразовано в формат,
подходящий для соответствующего
устройства вывода
Рендеринг происходит не только для
визуальных, но и для других видов
выходов, такие как слуховые и тактильные
выходы
Окончательно отрендеренные данные
выводятся на устройства вывода, что тоже
не происходит мгновенно и, таким
образом, вызывает задержку отображения

9.

ОБНАРУЖЕНИЕ СТОЛКНОВЕНИЙ В
ВИРТУАЛЬНЫХ МИРАХ
Там, где есть одна сущность, не может быть другое...
Этот простой физический факт представляет собой серьезную проблему для
систем VR/AR и компьютерной графики, используемых в реальном времени
Виртуальные объекты в принципе могут быть размещены в произвольных местах
виртуального мира и поэтому могут также проникать друг в друга, если не будут
приняты меры предосторожности
В случае статически расположенных объектов, программист или дизайнер может
позаботиться отследить за тем, чтобы наблюдателю не было видно никаких
проникновений

10.

КОЛЛИЗИИ
Для реалистичного и иммерсивного представления динамического контента,
было бы полезно, если бы объекты в сцене показали (приблизительно) физически
правильное поведение
Объекты систем виртуальной реальности должны иметь возможность сталкиваться друг с другом и
воздействовать друг на друга. В этом случае необходимо смоделировать физику реального мира, а не только
принять факт столкновения (https://www.instagram.com/p/Cf__DurI3Pg/)
Для имитации подходящей реакции на столкновение часто необходимо определять дополнительные
характеристики столкновения, такие как: глубина проникновения, точные места проникновения и точное
время столкновения
Во многих играх часто бывает достаточно, чтобы моделирование обеспечивало правдоподобное приближение,
как в реальном мире
И напротив, например, в научных приложениях ....обычно предъявляют более высокие требования к
обнаружению столкновений и устранению их последствий. В этих случаях такие аспекты, как физическая
корректность например важнее, чем возможность работы в реальном времени, требуемая приложениями
виртуальной реальности

11.

ОГРАНИЧАЮЩИЕ ОБЪЕМЫ
Объекты сцены строятся из примитивов, обычно в форме треугольных или
полигональных сеток. В простом тесте на столкновение между двумя полигональными
сетками каждый полигон первой сетки должен быть протестирован с каждым полигоном
второй сетки
Например, если две сетки состоят из 500 и 1000 полигонов каждая, 500× 1 000 = 500 000
тестов должно быть выполнено между парами полигонов
Учитывая, что виртуальные миры могут состоять не только из двух объектов, но,
возможно, из тысячи объектов, становится ясно, что такой наивный тест на столкновение
нецелесообразен для больших виртуальных миров
Ограничивающие объемы приближены к форме реальных объектов сцены, с целью
облегчения подсчета столкновений. Ограничивающие объемы хранятся в дополнении к
видимым геометриям объекта, но не визуализируются пользователю

12.

СВОЙСТВА ОГРАНИЧИВАЮЩИХ ОБЪЕМОВ
Когда объекты сцены перемещаются или как-то преобразуются (перемещение, вращение,
масштабирование), их ограничивающие объемы надо тоже обновить. Вычислительные
затраты на такие обновления также должны учитываться при выборе соответствующих
ограничивающих объемов
Как правило, желательно чтобы ограничивающий объем плотно прилегал к объекту сцены.
Для некоторых приложений, например игр, ограничивающие объемы уже могут
обеспечивать достаточно точные рассчеты на столкновение
Итак, желательные свойства ограничивающих объемов включают:
простое и быстрое тестирование на столкновение
схожесть с геометрией обьекта
легкое обновление в случае динамических объектов
эффективное использование памяти

13.

ПРИМЕРЫ ОГРАНИЧИВАЮЩИХ ОБЪЕМОВ
Необходимо учитывать следующие типичные ограничивающие объемы и их наиболее
важные свойства:
Выровненная по осям ограничивающая рама (AABB - Axis-Aligned Bounding Box)
Ограничивающая сфера
Ориентированная ограничивающая рамка (OBB - Oriented Bounding Box)
(k-мерный) дискретный ориентированный многогранник (k-DOP - Discrete Oriented
Polytope)

14.

AXIS-ALIGNED BOUNDING BOX
(AABB)
AABB — это прямоугольник или параллелепипед,
ребра которого параллельны осям системы координат глобальной плоскости и которая заключает в себе данный
объект с минимальной площадью
В трех или более измерений, это тело также называют параллельным осям (гипер-)кубом
Ориентация AABB не зависит от закрытого объекта и всегда одинакова (т. е. выровненные по глобальной
системе координат)
Когда закрытый объект меняет свою позицию, новая позиция должна быть применена и к AABB
Когда закрытый объект вращается или масштабируется, также необходимо обновить формуААББ
Объем памяти требуется для четырех значений, в двумерном случае:
координаты (x,y) двух противоположных углов; или
координаты (x,y) одного угла + ширина и высота; или же
центральная точка + (половина) ширины и высоты

15.

BOUNDING SPHERES
Ограничивающие сферы — это очень простые, легко реализуемые типы ограничивающих
объемов
Их можно очень эффективно сохранять (центральная точка и радиус) и проводить испытания на
столкновение: если расстояние между двумя центральными точками меньше чем сумма двух
радиусов, то две сферы сталкиваются. В противном случае нет столкновения
Ограничивающая сфера может быть построена путем построения AABB сначала. Центр AABB
равен центру сферы и расстоянию до одного из ее углов дает радиус сферы. В качестве
альтернативы центр сферы можно вычислить по формуле усреднения всех положений вершин
сетки вложенного объекта
Из-за вращательной симметрии сфер, вращения замкнутого объекта не должны быть перенесены
в ограничивающую сферу
Масштабирование и переводы могут быть применены непосредственно к ограничивающей сфере

16.

ОРИЕНТИРОВАННЫЕ
ОГРАНИЧИВАЮЩИЕ РАМКИ (OBB)
OBB можно рассматривать как расширение AABB
Однако края границы прямоугольного параллелепипеда, или в двумерном случае
ограничивающий прямоугольник, не выровнены по глобальной системе координат, а
ориентированы таким образом, что бы объект был минимально заключен в данную рамку.
Поэтому, в отличие от AABB, ориентация OBB должна сохраняться явно
В случае 2D это можно сделать одним из следующих вариантов:
положения трех углов (четвертый угол можно вычислить из трех других)
один угол + два ортогональных вектора
центральная точка + два ортогональных вектора
центральная точка + вращение (например, как матрица вращения, углы Эйлера) +(половина) длины ребра

17.

ДИСКРЕТНО-ОРИЕНТИРОВАННЫЕ
МНОГОГРАННИКИ (K-DOP)
Дискретно-ориентированные многогранники (k-DOP) являются обобщением AABB,
поскольку они также всегда выровнены по глобальной системе координат
Термин многогранник относится к многоугольнику в двумерном случае и, соответственно,
к многограннику в случае 3D
Различные двумерные k-DOP показаны на рис.
Для 8-DOP, например, необходимо сохранить восемь значений

18.

РЕНДЕРИНГ ВИРТУАЛЬНЫХ МИРОВ В РЕАЛЬНОМ ВРЕМЕНИ
Зрительное чувство является наиболее важным для человеческого восприятия.
Следовательно, VR-системы предъявляют особенно высокие требования к рендерингу
виртуальных изображений в реальном времени
В литературе принято считать, что временное разрешение нашей зрительной системы -
60–90 Гц. Таким образом, система визуального рендеринга должна быть способна
обеспечивать не менее 60 кадров в секунду, чтобы пользователь не мог воспринимать
изображение как отдельные изображения
В настоящее время типичные устройства отображения имеют разрешение не менее
1920×1080 пикселей. Если их нужно перерисовывать 60 раз в секунду, то это почти 125
миллионов пикселей в секунду – потребуется очень мощное оборудование, чтобы иметь
возможность выводить контент с высоким разрешением, в режиме реального времени

19.

ПРОСТОЙ АЛГОРИТМ СОЗДАНИЯ VR
Самая простая программа для представления виртуальных миров могла бы следовать
следующему алгоритму:
1. Загрузить объекты сцены и создать виртуальный мир
2. Пока программа не завершена:
(a) «прочитать» пользовательский ввод
(b) изменить виртуальный мир в соответствии с вводом пользователя
(c) передать сцену графичесскому процессору
(d) нарисовать сцену на графическом процессоре

20.

ОПТИМИЗИРОВАНИЕ АЛГОРИТМА
При таком наивном подходе для отрисовки каждого изображения необходимо обработать все
содержимое виртуального мира, передать его на графический процессор и отрисовать.
Несмотря на впечатляющую вычислительную мощность современного графического
оборудования, оно не способно обеспечить надлежащее количество визуальных деталей при
достаточно высокой частоте кадров с этим подходом
Поэтому часть дизайна системы VR должна включать методы, поддерживающие рендеринг
визуальных изображений для контента с высоким разрешением, дисплеев с высоким
разрешением, в режиме реального времени
Общие подходы к максимально эффективному визуальному рендерингу включают:
1.
Рисовать только необходимые, т. е. видимые и ощутимые данные
2.
Использовать компактные представления графических данных и избегать перемещения данных в памяти, когда
это возможно (затраты времени и энергии)
3.
Максимально эффективно использовать доступное оборудование

21.

ВЫВОДЫ
1. Возможность работы в реальном времени имеет решающее значение для создания
правдоподобных впечатлений от VR/AR
2. В сочетании с отслеживанием головы рекомендуется задержка не более 50 мс для системы на
основе HMD (Брукс, 1999; Эллис, 2009). Более высокие задержки более терпимы для
проекционных систем виртуальной реальности
3. Задержки возникают во всех подсистемах VR/AR систем. Кроме того, необходимо учитывать
задержки при передаче данных между подсистемами, чтобы свести к минимуму общую
задержку VR/AR системы
4. Общей задачей во время моделирования виртуального мира, является обнаружение
столкновений / коллизий. Для этого существует ряд методов, позволяющих эффективно
обнаруживать столкновения даже в больших средах с большим количеством объектов

22.

ПОВТОРИМ...
Что представляют задержки / латентность в VR-системе?
Откуда берутся задержки VR/AR систем?
Что предстявляют коллизии в VR/AR-мирах?
Зачем необходимы ограничевающие обьемы? Пример...