Компания Facebook Technologies выпустила обновление для автономного VR-шлема Oculus Quest, позволяющее ему отслеживать движения рук пользователя с помощью камер, не используя контроллеры. Об этом сообщается в блоге Oculus.

Отметим, что в основном шлемы виртуальной реальности используют не для просмотра фильмов или роликов, а для активного взаимодействия с виртуальным миром в играх или образовательных приложениях. Для этого обычно используются штатные контроллеры, позволяющие отслеживать перемещения руки в целом или же отдельных пальцев. Однако это не так удобно, как взаимодействие привычным образом со свободными руками. Чтобы решить данную загвоздку, некоторые производители создавали внешние датчики захвата движения, но это «привязывало» пользователя к одной комнате с датчиками или требовало закреплять датчик на самом шлеме.

В 2018 году разработчики Oculus представили новый VR-шлем Quest, одной из особенностей которого, помимо автономной работы, стали четыре камеры на передней поверхности, благодаря которым устройство может отслеживать свое перемещение относительно помещения. Теперь разработчики начали использовать камеры и для создания динамической модели рук. Они отмечают, что функция была добавлена только сейчас, потому что они наконец смогли разработать достаточно эффективные алгоритмы машинного обучения для создания модели кисти для каждой руки.

На начальном этапе отслеживание рук доступно только на домашнем экране гарнитуры и в собственных приложениях Oculus, таких как фирменный браузер Oculus Browser и виртуальный кинотеатр Oculus TV, но на следующей неделе сторонние разработчики получат доступ к SDK для работы с функцией распознавания и смогут интегрировать ее в свои приложения.