Недавно з’явилась новина про те, що український стартап RefaceAI створив додаток Doublicat, в якому можна вставити обличчя користувача в гіфку. Насправді, це не перший відомий проєкт компанії. Раніше RefaceAI випустила додаток Reflect. В ньому можна змінювати обличчя на фотографіях. Завдяки цьому додатку компанію Product Hunt номінував компанію на премію Golden Kitty Awards у категорії AI & Machine Learning.

Про продукти RefaceAI вже написали Forbes, TheNextWeb, Mashable та інші авторитетні видання. Також про додаток Reflect написав у своєму Twitter Ілон Маск. Команда RefaceAI розповіла, як створювали компанію та технологію, чому вирішили зробити додаток для заміни облич та яким чином вони дбають про безпеку користувачів.

Хто створив RefaceAI

RefaceAI (в той час Neocortext) заснували Роман Могильний, Олесь Петрів та Ярослав Бойко у 2011 році. Спочатку команда вдосконалювала навички машинного навчання, починаючи з аналізу тональності та закінчуючи візуальним контентом. Зараз в RefaceAI зосереджені на вдосконаленні своєї AI-технології з кожним оновленням

Офіс компанії знаходиться в Києві, в команді зараз 25 людей.

команда RefaceAI

Як створювали технологію

Розробка технології RefaceAI відрізняється від всіх інших цього напрямку, бо в її основі лежить провідний метод машинного навчання — генеративно-змагальні нейронні мережі (GAN).

«У більшості схожих додатків використовується підхід, який ми залишили позаду понад рік тому. Я маю на увазі 3D-маски, реконструкцію обличчя і текстурний блендінг. Це рішення може працювати лише з попередньо зібраним і обробленим контентом. І може бути нестабільним під час міміки й поворотів», — пояснив CTO RefaceAI Олесь Петрів.

Спочатку команда проєкту створила MVP та зрозуміла, що технологію можна розвинути до якості, яку будуть використовувати кінцеві користувачі. Також вони вирішили, що зможуть зробити умовну, яка працюватиме з однією фоткою.

Потім команда FaceAI допрацювала технологію та вивела її в продакшен. На останньому етапі може бути багато моментів. Наприклад, як зробити технологію масштабованою, щоб вона працювала з великими об’ємами, а потім перевести її в хмару. Від початку роботи до першого релізу сервісу Reflect пройшло лише сім місяців. На створення технології від фото до відео знадобилось близько року.

В яких сферах можна використовувати RefaceAI

У компанії вже є досвід проєктів у сфері кіно. Наприклад, функція у додатку Мультиплекс під назвою «Кіноселфі» Вона дозволяє користувача вставити своє обличчя на фото з кіногероями. Ще один кейс — Artificial Talent, де технологія RefaceAI дозволяє робити повністю інтерактивні 3D-моделі.

«Ми уже зараз співпрацюємо у різних напрямках, оскільки технологія RefaceAI досить гнучка — її можна використовувати в кіновиробництві, розробці ігор, рекламі, блогерстві, соціальних медіа, тощо. Ця технологія створена для креаторів контенту у різному форматі — від блогерів до великих кінокомпаній», — пояснюють в RefaceAI.

У планах компанії активніше працювати з візуальним контентом у великих масштабах та його персоналізацією.

Як створювали Doublicat

В RefaceAI пояснили, що після того як створили технологію заміни облич постало питання, як зробити її масовою. Додавало складнощів те, що deepfake має не найкращу репутацію.

Так з’явилася ідея використати її в гіфках. Люди постійно використовують їх в комунікації між собою та просто для розваги. «Крім того, з гіфками давно не відбувалося нічого нового — їх як зібрали колись на giphy, так все і зупинилося, хоча не припиняло бути смішним», — пояснюють в команді.

Місія RefaceAI — персоналізація контенту, а гіфки дуже персональні. Тому створення Doublicat — логічний крок у розвитку всієї технології RefaceAI.

«Ми використовуємо гіфки у нашій щоденній комунікації — вони дозволяють нам висловлювати емоції та креативність. Саме ця ідея лежить в основі Doublicat. Ми віримо, що за персоналізацією контенту майбутнє і наша технологія — важлива його частина», — пояснює директор по продукту RefaceAI Іван Алцибєєв.

Бізнес-модель Doublicat — реклама в додатку та преміум-підписка. Остання дозволить завантажувати власні гіфки та відео, а також використовувати лімітований контент.

Як дбають про безпеку даних користувачів

RefaceAI не зберігає фотографії людей. Компанія використовує лише векторні зображення рис обличчя — face embeddings.

«Коли людина робить селфі у додатку Doublicat, воно відправляється на Google Cloud, де після процесингу видаляється протягом 24 годин (переважно — протягом години). Ми не представляємо технологію розпізнавання облич, тому нам непотрібні самі фотографії», — пояснюють в компанії.

Для подальшої заміни облич користувача у компанії є його face embedding. Самі фото зберігаються лише локально — у телефоні юзера. Також компанія не передає дані користувачів третім сторонам.

Як планують розвивати проєкт далі

В планах розвитку Doublicat: додати можливість завантажувати свої гіфки та відео, фото з галереї смартфону замість лише селфі зроблених в додатку, а також дозволити робити свої гіф-реакції.

RefaceAI працює над сервісом для заміни облич на відео голлівудської якості. Таким чином, компанія створює та розвиває ринок персоналізації візуального контенту.

«Наша велика ідея — створити нову еру розваг і візуального контенту за власною технологією. Функціонал deepfake більш персоналізований та інтерактивний, ніж маски Snapchat і Instagram. Ми хочемо втілити те, що раніше здавалося неможливим — дозволити кожному стати героєм улюбленої відеогри або персонажем із серіалу Netflix», — CEO RefaceAI Роман Могильний.

Зараз RefaceAI вивів Doublicat на Product Hunt.

Джерело: vctr.media