Американські і японські розробники навчили нейромережу створювати кольорову 3D-модель людини за однійєю або кількома фотографіями. Особливість алгоритму полягає в тому, що він досить якісно відтворює навіть вигляд зі спини, якаої не видно на вихідному знімку, розповідають автори статті, яка буде представлена на конференції ICCV 2019.

Як повідомляється, рішення, що отримало назву PIFu (Pixel-aligned Implicit Function), складається з двох послідовних згорткових нейромереж, одна з яких аналізує вихідний знімок (або кілька вихідних знімків), виявляє на ньому тіло людини і, використовуючи методику під назвою «Кубики, що крокують», відтворює за ним 3D-модель, а друга надає отриманій моделі кольоровість.

Для навчання алгоритму дослідники скористалися датасетом RenderPeople, що складається з високоякісних 3D-моделей людей, одержаних за допомогою фотограмметричних сканерів.

На опублікованому авторами ролику можна бачити, що алгоритм досить якісно відтворює всю модель, в тому числі і зі спини. Крім того, в ролику продемонстровано, що навіть наявність трьох кадрів замість одного значно підвищує якість підсумкової моделі. Нарешті, автори показали, що у багатьох аспектах алгоритм справляється з відтворенням 3D-моделі краще, ніж аналогічні алгоритми інших розробників.