Американские разработчики создали нейросеть, способную распознавать действия людей как по видеозаписи, так и по данным радиоволнового сканирования через стену и другие препятствия. Разработка будет представлена на конференции ICCV 2019, а статья о ней опубликована на сайте Массачусетского технологического института.

Как сообщается, разработанный исследователями алгоритм можно представить в виде двух основных модулей. Сначала «сырые» данные с камеры или радиоприемопередатчика подаются на нейросеть, которая на их основе создает анимированную скелетообразную трехмерную модель тела человека. После этого следующий алгоритм анализирует движения модели и распознает те или иные действия, например, разговор по телефону, надевание очков, махание рукой либо, если это совместные действия, рукопожатие, похлопывание по плечу или передача предмета.

В случае обработки визуальных данных разработчики использовали видеокамеру, открытый алгоритм AlphaPose и алгоритм, превращающий двумерные скелетообразные модели в трехмерные. Для радиоволнового сканирования через стены и другие препятствия, а также в условиях недостаточного для эффективной работы видеокамеры освещения, инженеры задействовали приемопередатчик, работающий на частотах от 5,4 до 7,2 гигагерц. Он оснащен двумя наборами антенн, ориентированных вертикально и горизонтально. Они излучают радиоволны, а затем принимают отражения от объектов. На основе этих сигналов система, как и в случае с видеокамерами, создает скелетообразные 3D-модели.

Разработчики обучили нейросети, входящие в состав алгоритма, на нескольких датасетах, в том числе собственных — для создания модели по радиосигналам, а также публично доступном датасете распознавания действий PKU-MMD. Тестирование радиоволновой версии системы показало, что ее точность определения действий человека в зоне прямой видимости составляет 87,8%, что «сопоставимо» с работой системы на основе видеоряда, полученного при хорошей освещенности, и значительно превосходит ее, когда данные с видеокамеры были получены в условиях недостаточного освещения; при работе через стену точность радиоволнового сканирования снижается до 83%.

Примеры работы системы. 

По мнению авторов работы, задействование радиоприемопередатчиков в системах видеонаблюдения позволит существенно повысить эффективность последних за счет способности «видеть» сквозь препятствия и стены и в условиях плохого освещения. Кроме того, использование данных, полученных на основе радиосигналов, позволит внедрять в системы умного дома функцию распознавания действий пользователя без необходимости устанавливать видеокамеры, которых некоторые люди могут опасаться по соображениям приватности.