Сделать хорошее групповое селфи непросто: нужно держать палец на кнопке, лицо в кадре, смотреть в камеру, делать хорошие выражения, постарайтесь не трясти камеру и надеяться, что никто не мигнет, когда вы наконец нажмете кнопку затвора! И сделать это получится теперь на Pixel 3.

С Photobooth, новым режимом без затвора в приложении камера Pixel 3, теперь стало проще снимать селфи - одиночек, пар или даже групп. После того, как вы войдете в режим Photobooth и нажмете кнопку спуска затвора, он автоматически сделает снимок, когда фотокамера стабилизируется, и увидит, что у объектов хорошие выражения лица с открытыми глазами. А в новейшей версии Pixel Camera добавили функцию обнаружения поцелуя в Photobooth! Поцелуй любимого человека, и камера автоматически это запечатлить.

Photobooth совместим с режимами «Top Shot» и «Portrait» в наборе функций Pixel Camera, которые позволяют делать лучшие снимки. Тем не менее, в отличие от портретного режима, в котором для обеспечения наиболее точных результатов используются специализированные аппаратные средства для основной камеры, Photobooth оптимизирован для фронтальной камеры.

Модели для анализа фото

При разработке Photobooth главной задачей было определить момент отличного фото, либо в типичном селфи, в котором все объекты смотрят в камеру, либо в кадре, который включает людей, целующихся и не обязательно смотрящих в камеру. Для этого Photobooth использует две разные модели для захвата хороших селфи - модель для выражения лица и модель для определения поцелуя. 

Google работал с фотографами, чтобы определить пять ключевых выражений, которые должны фиксироваться и соответственно, фото будет снято автоматически: улыбки, высмеивание, "губки уточкой", пухлые щеки и удивление. Затем они обучили нейронную сеть для классификации этих выражений. Модель обнаружения поцелуя, используемая Photobooth, является вариацией модели содержимого изображения(ICM) обучена для Google Clips, настроена специально, чтобы сосредоточиться на поцелуях. Обе эти модели используют MobileNets для эффективной работы на устройстве при непрерывной обработке изображений с высокой частотой кадров. Выходы моделей используются для оценки качества каждого кадра для алгоритма управления затвором. 

Управление затвором

После того, как вы нажмете кнопку спуска затвора в режиме Photobooth, будет проведена базовая оценка качества на основе оценки содержимого из вышеприведенных моделей. Этот первый этап используется в качестве фильтра, который позволяет избежать кадров з закрытыми глазами, разговорами или размытость при движении. Как только первый этап успешно пройден, каждый кадр подвергается более детальному анализу, который выводит общую оценку кадра.

Оценка кадров учитывает как качество выражения лица, так и поцелуй. Поскольку в каждом кадре может присутствовать несколько объектов, Photobooth применяет модель внимания, используя обнаруженные выражения, для вычисления качества выражения и приоритетности. То есть он различает передний и задний фон автоматически без фокусировки. Затем модель рассчитывает единую глобальную оценку качества выражений в кадре.

Окончательный показатель, используемый для срабатывания затвора, рассчитывается с помощью взвешенной комбинации показателя выражения лица и показателя поцелуя. Чтобы обнаружить пиковое качество, алгоритм управления затвором поддерживает короткий буфер наблюдаемых кадров и сохраняет снимок, только если его оценка кадров выше, чем у кадров, следующих за ним в буфере. И это все в долю секунди.

Индикатор интеллекта

Поскольку Photobooth использует фронтальную камеру, пользователь может видеть и взаимодействовать с дисплеем во время фотосъемки. Режим Photobooth включает в себя визуальный индикатор, полосу в верхней части экрана, которая увеличивается в размере при увеличении показателей качества фотографий, чтобы помочь пользователям понять, что видят и фиксируют алгоритмы ML. Длина полосы делится на четыре различных диапазона: (1) лица не видны четко, (2) лица видны, но не обращают внимания на камеру, (3) лица видны, но не выражают ключевые выражения, и (4) лица с ключевыми выражениями.