Разработанная американскими исследователями система наблюдения распознает действия находящегося за стеной человека при помощи радиоволн

  • 15 октября, 14:37
  • 3611
  • 0

Американские разработчики создали нейросеть, способную распознавать действия людей как по видеозаписи, так и по данным радиоволнового сканирования через стену и другие препятствия. Разработка будет представлена на конференции ICCV 2019, а статья о ней опубликована на сайте Массачусетского технологического института.

Как сообщается, разработанный исследователями алгоритм можно представить в виде двух основных модулей. Сначала «сырые» данные с камеры или радиоприемопередатчика подаются на нейросеть, которая на их основе создает анимированную скелетообразную трехмерную модель тела человека. После этого следующий алгоритм анализирует движения модели и распознает те или иные действия, например, разговор по телефону, надевание очков, махание рукой либо, если это совместные действия, рукопожатие, похлопывание по плечу или передача предмета.

Схема работы системы. Как можно заметить, система может работать как на данных, полученных от радиоприемопередатчика, так и на данных, полученных с видеокамеры.

В случае обработки визуальных данных разработчики использовали видеокамеру, открытый алгоритм AlphaPose и алгоритм, превращающий двумерные скелетообразные модели в трехмерные. Для радиоволнового сканирования через стены и другие препятствия, а также в условиях недостаточного для эффективной работы видеокамеры освещения, инженеры задействовали приемопередатчик, работающий на частотах от 5,4 до 7,2 гигагерц. Он оснащен двумя наборами антенн, ориентированных вертикально и горизонтально. Они излучают радиоволны, а затем принимают отражения от объектов. На основе этих сигналов система, как и в случае с видеокамерами, создает скелетообразные 3D-модели.

Разработчики обучили нейросети, входящие в состав алгоритма, на нескольких датасетах, в том числе собственных — для создания модели по радиосигналам, а также публично доступном датасете распознавания действий PKU-MMD. Тестирование радиоволновой версии системы показало, что ее точность определения действий человека в зоне прямой видимости составляет 87,8%, что «сопоставимо» с работой системы на основе видеоряда, полученного при хорошей освещенности, и значительно превосходит ее, когда данные с видеокамеры были получены в условиях недостаточного освещения; при работе через стену точность радиоволнового сканирования снижается до 83%.

Примеры работы системы. 

По мнению авторов работы, задействование радиоприемопередатчиков в системах видеонаблюдения позволит существенно повысить эффективность последних за счет способности «видеть» сквозь препятствия и стены и в условиях плохого освещения. Кроме того, использование данных, полученных на основе радиосигналов, позволит внедрять в системы умного дома функцию распознавания действий пользователя без необходимости устанавливать видеокамеры, которых некоторые люди могут опасаться по соображениям приватности.


0 комментариев
Сортировка:
Добавить комментарий

Последние статьи

Смотреть все