Веб-инженер из Google Джейсон Майес опубликовал на GitHub программу, способную удалять человека из видео в режиме реального времени, даже если он находится в движении. Получая изображение с камеры, алгоритм распознает фон и запоминает его, и когда в кадре оказывается человеческая фигура, то ПО принимается заменять те куски изображения, которые она занимает, на соответствующие фрагменты запомненного ранее фона.

Для разработки кода использовалась система машинного обучения TensorFlow.js. Протестировать решение на собственной веб-камере можно онлайн на сайте Glitch.com или Codepen.io, главное, чтобы в браузере была включена поддержка JavaScript (следует отметить, что ПО срабатывает не сразу — перед тем, как исчезнуть, придется немного походить перед камерой). Кроме того, исходный код приложения доступен для скачивания и модификации всеми желающими при условии уведомления об этом автора.

Веб-инженер отмечает, что его разработка — эксперимент, так что она не всегда справляется с задачами идеально. И действительно: на представленном образце видео, на котором, к слову, запечатлен сам программист, хорошо заметны многочисленные артефакты. Тем не менее, для экспериментального инструмента, запускающегося в браузере, алгоритм выглядит весьма достойно, тем более, что уже существующие подобные программы, как правило, неспособны работать с видео в реальном времени. Также они обычно весьма привередливы к заднему плану, в то время как ПО Майеса может работать в том числе с достаточно сложным, не однотонным фоном.

Поделившись своей разработкой в Twitter, программист предложил людям высказать свое мнение на этот счет, и у пользователей Сети нашлось множество потенциальных вариантов применения программы.

Один из комментаторов, к примеру, предложил Джейсону исправить видео, на котором маленькие дети вбегают в комнату к отцу-политологу и прерывают его интервью BBC News. Майес от вызова не отказался.