Alibaba представила ИИ-инструмент Emote Portrait Alive, который создает поющие, читающие рэп и говорящие аватары из одного изображения.
Исследователи из Института интеллектуальных вычислений Alibaba Group, разработали Emote Portrait Alive. Это ИИ-инструмент для создания выразительных портретных видеороликов с помощью модели распространения Audio-2-Video.
EMO AI берет одно эталонное изображение, генерирует кадры движения, а затем объединяет их с вокальным звуком посредством сложного процесса распространения. В нем область лица интегрируется с многокадровыми образцами шума, а затем нейтрализует их, добавляя сгенерированные изображения для синхронизации со звуком. В результате технология создает видео, на котором объект не только синхронизирует губы, но и отображает различные выражения лица и позы головы.
Alibaba демонстрирует работу ИИ на примерах знаменитостей, исторических личностей и сгенерированных портретов. После применения EMO AI аватары оживают, разговаривая и двигаясь в такт выбранному звуку.
Эффект EMO AI на удивление точен, хотя далек от совершенства. Тем не менее нейросеть останется незамеченной, если пользователю не скажут следить за движениями рта и хронометражем.