Google рассказала о работе объемного экрана для видеоконференций
Google на конференции I/O 2021 показала систему для видеоконференций, в которой тоже используется объемный дисплей.
Система представляет собой стенд, в котором пользователь сидит на определенном месте перед дисплеем. Это необходимо из-за конструкции дисплея — он основан на 65-дюймовой панели с разрешением 8K, покрытой лентикулярным растром. Линзы в растре рассчитаны на то, что наблюдатель будет находиться на расстоянии 1,25 метра, а его межцентровое расстояние (расстояние между центрами зрачков) составляет 63 миллиметра — это среднее значение для взрослых людей. Благодаря этому, а также тому, что в изображении половина пикселей рендерится для одного глаза, а вторая для другого, наблюдатель, сидящий в стенде, видит перед собой объемное изображение, немного отличающееся для каждого глаза. Но в реальности человек не сидит неподвижно, поэтому эти параметры постоянно меняются. Инженеры решили эту проблему, дополнив лентикулярный растр быстрым отслеживанием головы, благодаря чему система может в реальном времени подстраивать показываемое изображение, «поворачивая» его.
Вторая, не менее важная часть стенда, — это система захвата. Она состоит из трех цветных камер глубины, двух инфракрасных, нескольких инфракрасных проекторов и ламп со стороны дисплея и одной большой инфракрасной подсветки. Все они помогают создавать в реальном времени высокоточную 3D-модель тела, на основе которой дисплей на другом конце воссоздает изображение, как бы снимаемое из центра дисплея (для настоящей съемки с этого ракурса необходим прозрачный дисплей, сделать который пока технически невозможно). Кроме объемного изображения, разработчики воссоздали с помощью массива микрофонов и двух динамиков реалистичный звук, который воспринимается как идущий из рта собеседника, а не с двух сторон.
Еще одна важная часть работы — сжатие данных. Разработчики отмечают, что при создании 3D-модели на стороне съемки объем данных не позволяет сжимать и передавать его в реальном времени, поэтому они решили передавать исходные, но сжатые видеопотоки. Один стенд в реальном времени передает на второй четыре цветных видеопотока и три потока с глубиной с частотой 60 кадров в секунду. В итоге они остановились на 10-битном кодеке H.265, который снизил объем передаваемых данных до 30-100 мегабит в секунду, в зависимости от движений человека и детализации его одежды.
Авторы отметили, что пока у системы есть недостатки. Среди прочего, они выделили артефакты изображения, а также то, что стенд позволяет наблюдать качественное и адаптивное объемное изображение только одному наблюдателю, движения которого отслеживает система.
Источник: N+1
Дата публикации: 06.12.2021
Первоисточник: Google
Другие материалы по этой теме:
Канадцы сделали цилиндрический экран светового поля для видеоконференций (20.04.2018, N+1)