Звуковая 3D система от Microsoft

microsoft-ces-booth

В то время, как новое поколение шлемов виртуальной реальности готово появиться на рынке, исследователи из Microsoft придумали, что может быть идеальным дополнением для них - система, которая позволит простым наушникам, создать реалистичную иллюзию звука, исходящего из определенного места в 3D пространстве виртуального окружения.

В сочетании с таким устройством виртуальной реальности как Oculus Rift, новая звуковая система позволит объектам или персонажам в виртуальном мире не только выглядеть но и звучать, как будто они находятся в определенной точке  окружающего виртуального пространстве, даже если эта точка находится вне поля зрения человека

Headphone girl

Во время демонстрации технологии в Silicon Valley Lab компании Microsoft, вы надеваете пару беспроводных наушников и ближайшие к вам объекты неожиданно оживают. Из картонной модели портативной рации, начинает доноситься голос. Из муляжа акустической Hi-Fi системы начинает звучать музыка. Чучело птицы  высоко над землей, издает реалистичные щебет. По мере того, как вы начинаете двигаться - направление звуков изменяется, что позволяет не прерываться иллюзии, ощущения реалистичности звукового окружения.

Это стало возможным, благодаря предварительно созданной 3D модели головы и плеч пользователя с помощью сенсора "Kinect 3D". Программа, смоделировала 3D образ, а затем использовала эту модель, для вычисления персонального фильтра, который позволил создать звуковую иллюзию.

Ivan Tashev

Как рассказал Иван Ташев, исследователь в Redmond labs Microsoft, работающий над проектом с коллегой Дэвидом Джонстоном - "После того, как этот фильтр был создан, он может быть использован с различными устройствами, программами или виртуальной и дополненной реальностью (augmented reality)."

Для правильного функционирования, система также нуждается в данных о положении наушников, когда человек поворачивает голову, которые предоставляют датчики движения и камеры . Тем не менее, тот вид датчиков движения, который используется в современных шлемах виртуальной реальности на подобии Oculus Rift - позволяет, получить достаточное количество необходимой информации.

Известно, что уникальная форма и положение ушей человека, а так же анатомия головы, изменяют то, как звук достигает ушного канала у каждого человека - этот процесс, называется «head related transfer function" или в скоращении HRTF, что в переводе означает "функция передачи, учитывающая строение головы".

Система запрограммированная с описанием этих параметров, может создать для человека иллюзию восприятия звука, исходящего из определенного места.

 

 

 

 

comments powered by HyperComments