Microsoft представила нову модель штучного інтелекту під назвою Vall-E. Вона базується на технології EnCodec, яку Meta анонсувала в жовтні 2022 року.

Microsoft називає VALL-E «мовною моделлю нейронного кодека». Цей штучний інтелект здатний імітувати будь-який людський голос, до того ж для цього йому треба прослухати всього 3 секунди оригінального голосу.

ШІ розбиває інформацію на компоненти та синтезує варіації його звучання в різних фразах, у результаті чого може точно відтворювати тембр та емоційний тон мовця.

Для навчання Vall-E компанія Microsoft використовувала записи 60 тисяч годин розмов, які записали понад 7 тисяч реальних людей. Здебільшого для цього брали аудіокниги з бібліотеки LibriVox.

Приклади імітації голосів Vall-E можна послухати на GitHub.

Microsoft каже, що Vall-E можна буде використовувати як інструмент перетворення тексту на голос, спосіб редагування мови та систему створення аудіо, поєднавши його з іншими генеративними ШІ.