Еще несколько лет назад невозможно было представить, чтобы искусственный интеллект создавал ролики за человека. А недавно Disney заподозрили в применении ИИ для подготовки праздничного видеопоздравления. Если даже голливудские титаны доверяют роботам, то почему бы и остальным не попробовать нейросети для генерации видео? В статье мы вместе с Максимом Ушаковым, экспертом на сайте программы «ВидеоМОНТАЖ», разберем, как обычным пользователям составить промт для ролика и получить классное видео от ИИ.
Как писать промты для генерации видео
Промт ― это запрос-подсказка, которая объясняет нейросети, что пользователь хочет получить на выходе. Промтом может быть текст, загруженная фотография или то и другое одновременно. Чем лучше составлена задача, тем более качественным будет результат.
Как написать эффективный промт:
- Сформулируйте четкую цель. Укажите, какой результат должен получиться в итоге — анимация, документальный видеоролик, реклама или др.
- Укажите стиль. Предоставьте референсы, чтобы ИИ использовала их в качестве примера. Если создаете анимационный клип, напишите «в стиле Pixar» или «ориентируйся на Хаяо Миядзаки, его “Унесенные призраками” и другие работы».
- Детально опишите сцену. Избегайте расплывчатых формулировок, чтобы алгоритм точнее видел задачу и меньше ошибался. Например, описание «девушка идет по городу» с большей вероятностью заставит ИИ выдать что-то невразумительное. А вот «девушка в вечернем длинном красном платье медленно идет по японскому кварталу Роппонги мимо дорогих магазинов» уже даст роботу более четкие указания.
- Уточните динамику происходящего. Это повлияет на темы, которые выберет нейросеть для создания видео. Промт про девушку из Роппонги подчеркивает, что она идет медленно. Искусственный интеллект будет использовать эту информацию, чтобы выстраивать всю остальную сцену.
- Перечитайте промт. Распространенная ошибка ― люди пишут противоречащие запросы. К примеру, «был яркий солнечный день» и «мужчина шел в свете фонарей». Робот сгенерирует вам и первое, и второе, но смотреться будет странно.
- Не составляйте слишком длинные и запутанные предложения. Большинство нейросетей англоязычные, значит запрос будет сначала переведен, и только потом проанализирован. Чтобы система правильно перевела запрос, пишите короткие и емкие формулировки.
Если используете вместо текстового промта фотографию, убедитесь, что она хорошего качества, детализированная, без размытия. Когда на снимке много объектов, лучше, если каждый из них будет четким. Это оставит ИИ меньше простора для фантазии, а значит и снизит шанс допустить ошибку.
Топ-10 лучших нейросетей для создания видео
На рынке постоянно появляются новые решения и дорабатываются старые. Рассмотрим десятку самых интересных вариантов и рассмотрели их особенности.
Genmo
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: в бесплатной версии можно создавать не более 4 видеороликов в 6 часов и не больше 30 генераций в месяц. Будут доступны все функции, но на видео будет добавлен водяной знак. Платный тариф — 8$ в месяц, купить его из России нельзя.
- Нужна регистрация: нет.
Универсальный инструмент, который кроме роликов умеет создавать картинки, элементы для дизайна и короткие мультфильмы. Работает нейронная сеть онлайн прямо из браузера, для старта нужно будет зарегистрироваться или войти через свой аккаунт Google.
Особенности:
- Создает клипы от 3 до 6 секунд. Работает в любом стиле ― от трехмерной анимации до реализма.
- Точно прорабатывает динамику. К примеру, можно указать, что объект двигается в слоу-моушене.
- Подсказывает идеи промтов. Они могут генерироваться по ключевым словам автоматически.
- Сохраняет персональную ленту. Там будет все что вы сгенерировали в сервисе. Доступно скачивание и просмотр во внутреннем плеере.
- По одному запросу можно создать сразу несколько клипов. Пригодится, чтобы отобрать среди них лучший.
Промт: «Ролик длиной в 5 секунд. Капибара сидит в лесу у пруда и ест большую морковку».
Плюсы:
- есть инструменты для монтажа видео;
- доступны подсказки по описанию для его улучшения;
- на получение результата уходит всего пара минут.
Минусы:
- при создании сцен со множеством движущихся объектов появляются артефакты и ошибки;
- нет эффектов и редактора для обработки видео;
- англоязычные промты выдают более качественный результат.
Veed
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: бесплатная версия позволяет создавать контент в разрешении до 720р с вотермаркой. Премиум-доступ открывается за 9$ в месяц, поднимает разрешение до 1080р, снимает водяной знак, добавляет автоматическую генерацию субтитров и другие опции.
- Нужна регистрация: да.
Сервис позволяет создавать виртуальных дикторов, выполнять автоматическую озвучку и даже цветокоррекцию. Пользователи могут создать личного аватара с помощью клонирования внешности и голоса. Пригодится, чтобы не репетировать и не записывать себя каждый раз с нуля.
Особенности:
- Сценарии видео основываются на ChatGPT — система сама создает закадровый текст.
- Можно выбрать формат (информационный или развлекательный), указать целевую аудиторию. Для этого достаточно будет просто ввести одно предложение промта или несколько ключевых слов.
- Доступна озвучка виртуальным диктором. Есть несколько десятков голосов, которые будут зачитывать ранее подготовленную речь.
- Субтитры формируются и накладываются на видеозапись автоматически.
- Синхронизация звука и текста с показанным на экране.
Промт: «Приглашение для друзей на вечеринку в честь Хэллоуина».
Плюсы:
- можно клонировать голос для автоматической озвучки;
- встроенный редактор имеет несколько монтажных линеек;
- в видео можно добавить ИИ-ведущего.
Минусы:
- большая часть библиотеки пресетов и такие функции как клонирование голоса закрыты для тех, кто не купил полную версию;
- субтитры иногда создаются с ошибками;
- русского языка нет.
Runway
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: при регистрации дается 125 кредитов из расчета стоимости 5 кредитов за 2 секунды клипа. Дальше нужно будет покупать их или ждать, когда лимит обновится через 30 дней.
- Нужна регистрация: нет.
Чтобы создать видео на этом сайте, в качестве промта можно добавлять картинку или даже другой ролик. Длительность видео и ракурс, с которого будет показана сцена, тоже настраиваются.
Особенности:
- Сервис автоматически дорабатывает текстовый запрос, чтобы получить более лучший результат. От предложенного системой варианта можно отказаться.
- Есть видеоредактор с привычными функциями ― изменением яркости, контрастности, громкости, скорости.
- Изменение липсинка у дикторов помогает подстроить движение губ под озвучку. Это нужно, чтобы губы ведущего в кадре двигались в соответствии со звучанием иностранных слов.
- Создание виртуальных ведущих. Модель формируется на основе реальной фотографии или же по введенному тексту.
Промт: «Камера пролетает над ночным Токио. Она летит в направлении телебашни».
Плюсы:
- доступна генерация по фото;
- можно смотреть историю изменений;
- один и тот же запрос используется для создания нескольких проектов.
Минусы:
- пользователю доступны всего 125 бесплатных токенов, которые быстро заканчиваются;
- ввод запросов на русском может приводить к возникновению артефактов;
- в создаваемых роликах нет звука;
- небольшой набор вариантов озвучки.
Invideo
- ОС: Web, Android.
- Язык запросов: русский, английский.
- Стоимость: бесплатная версия без ограничений по времени использования или количеству попыток. Покупка платной версии открывает разрешение до 4К, убирает вотермарки и позволяет вставить автоматические созданные субтитры.
- Нужна регистрация: да.
В Invideo можно создать видео с помощью нейросети даже для сложных проектов ― максимальный объем промта до 25 тысяч символов. Сервис доступен через браузер и в мобильном приложении. Принцип простой ― вводим запрос, остальное ИИ делает самостоятельно.
Особенности:
- ИИ анализирует текстовый запрос и уточняет задачу, предлагая выбрать аудиторию и настроение клипа. К примеру, в промте с котом Invideo определил три группы ЦА ― любители животных, дети или «семьи».
- Разработчики рекомендуют описывать задачу на английском, но сервис все переводит на русский и результат получается не хуже.
- Для стилизации клипов можно выбрать реализм, мультипликацию, рисунок красками и др. Если возможность сделать короткую анимацию на пару секунд или слайд-шоу.
- Подготовка сценария и озвучка. Во время наших тестов робот написал связную историю на основе 11 слов исходного описания и потом добавил это все в видеоролик. Получилось забавно, пусть и с оттенком пиратских переводов фильмов 90-х.
Промт: «Большой, красивый, пушистый кот с рыбой в зубах бежит по улице».
Плюсы:
- можно указать соотношение сторон для горизонтальных или вертикальных роликов;
- автоматическая разбивка сценария по сценам при необходимости;
- хорошая мобильная верстка ― можно работать даже со смартфона.
Минусы:
- ЦА не всегда определяется точно;
- озвучка неестественная, слишком роботизированная;
- требует детального описания задачи, без этого может результат может быть непредсказуем.
Sora
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: неизвестна.
- Нужна регистрация: да.
Sora ― хайповая разработка компании OpenAI, разработчика ChatGPT. Ее появление стало причиной слухов, что скоро людей заменит искусственный интеллект, снимающий фильмы и анимацию. Пока проект находится на стадии тестирования и для обычных пользователей недоступен.
Особенности:
- Изображение в кадре выглядит реалистичнее, чем у конкурентов. Например, если создается птица, то у нее блестят глаза и можно различить каждую деталь оперения.
- ИИ для создания видео может доработать сцену и гармонично вписать в кадр предмет или персонажа.
- По задумке разработчиков, в будущем искусственный интеллект сможет создать сценарий, картинку в качестве референса, а потом на основе всего этого полноценный видеоролик.
Промт: «Маленькие красные панды прыгают по столу в лаборатории с микроскопами».
Плюсы:
- детализированная картинка;
- механика движений смотрится естественно;
- отсутствие артефактов при движении.
Минусы:
- сервис недоступен для массового использования;
- по словам участников тестирования, в Sora нужно очень подробно писать задачи;
- можно подготовить только минуту видеоматериала.
Kandinsky
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: бесплатно.
- Нужна регистрация: да.
Kandinsky — российская разработка, создана Sber AI. Подходит для создания видеороликов и анимированных слайд-шоу. Чтобы сгенерировать анимацию, нужно ввести текстовый запрос и настроить положение камеры. Для создания клипа достаточно описать задачу в текстовом поле.
Особенности:
- Сервис учитывает, на каком языке введен промт. К примеру, если ввести на русском запрос «национальное блюдо» и ничего не уточнять, ИИ может выдать блины со сметаной, пирожки или что-то в этом роде.
- Есть встроенная библиотека картинок, которые можно использовать для составления запроса.
- Предлагается три варианта соотношения сторон ― 16:9, 9:16, 1:1.
Промт: «Медведь сидит за столом и ест мед из горшочка».
Плюсы:
- покадровое описание любого количества сцен;
- сервис поможет сформулировать задачу;
- интуитивно-понятное управление.
Минусы:
- пока видеоклипы больше напоминают анимированные картинки;
- частые ошибки, нужно постоянно начинать процесс заново;
- даже несколько секунд будут создаваться несколько минут.
Шедеврум
- ОС: Web, iOS, Android.
- Язык запросов: русский, английский.
- Стоимость: бесплатно.
- Нужна регистрация: да.
ИИ генератор видео, разработанный Яндексом. Кроме браузерного варианта можно скачать приложение на iOS, Android. Эта возможность пригодится тем, кто создает контент для социальных сетей в ориентации 6:19 или 3:4. Для сложных проектов не подойдет, но можно создавать поздравления, анимированные открытки и другой подобный контент.
Особенности:
- Результаты генераций можно опубликовать в личном кабинете сервиса, получить от других пользователей лайки и комментарии.
- Система формирует 2 варианта промежуточных результатов — пользователь выбирает любой из них и дорабатывает.
- При необходимости изначальный текст задачи можно сохранить и использовать заново. Это пригодится, если по каким-то причинам готовая анимация не понравилась.
Промт: «Пушистый кот сидит на подоконнике и смотрит на падающий снег».
Плюсы:
- сервис полностью на русском языке;
- простой интерфейс;
- нет водяных знаков.
Минусы:
- не хватает реалистичности;
- на видео часто появляются артефакты;
- навязчивая реклама платных функций.
Flik
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: в бесплатной версии нет ограничений по количеству генераций, но качество не выше 720р. Для увеличения разрешения до 1080р и удаления вотермарка придется платить от 21$ в месяц. Но с российской карты сделать это не получится.
- Нужна регистрация: да.
В Flik можно собрать сразу готовый проект. Искусственный интеллект озвучит видео, создаст для него субтитры, подберет музыку. Подходит для тех, кто создает обучающие материалы — учебные видеопособия и туториалы.
Особенности:
- По одному текстовому запросу можно сгенерировать несколько коротких роликов.
- Встроенный каталог шаблонов помогает заранее посмотреть, что может получиться.
- История проектов сохраняется в пользовательском аккаунте. Оттуда можно скачать нужное или посмотреть во встроенном плеере.
Промт: «В традиционном японском саду цветет сакура. По саду идет девушка».
Плюсы:
- автоматическая разбивка сценария на сцены;
- несколько тонов озвучки;
- внесение изменений на стадии предпросмотра.
Минусы:
- много артефактов на готовом результате;
- роботизированная озвучка;
- субтитры с ошибками.
Pictory
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: бесплатная версия с ограничением длительности ― не больше 1 минуты. Платная от 19$ в месяц уберет вотермарк, расширит набор виртуальных спикеров и увеличит длительность создаваемых видеоматериалов до 200 минут.
- Нужна регистрация: да.
Pictory ориентирована на SMM-специалистов и создателей маркетинговых виде. В нейросети можно собрать весь проект ― от генерации видеоряда до озвучки и субтитров в рекламе.
Особенности:
- Для виртуального диктора настраивается тон голоса, настроение и громкость звучания.
- Есть встроенный редактор, чтобы разделять и склеивать ролики, настраивать уровень яркости и контрастности.
- При необходимости, сервис сам напишет скрипт, разобьет его на нужное количество сцен и для каждой создаст визуал.
Промт: «В духовке выпекается ароматный кекс. Во второй сцене его достают и ставят на стол кусочек».
Плюсы:
- можно добавить закадровый голос;
- доступна цветокоррекция;
- на подготовку результата уходит не больше минуты.
Минусы:
- есть водяной знак;
- нет автоматического редактирования ошибок по тексту или улучшения описания;
- на этапе рендеринга периодически возникают ошибки, приходится перезагружаться.
Deepbrain
- ОС: Web.
- Язык запросов: русский, английский.
- Стоимость: бесплатно.
- Нужна регистрация: да.
Deepbrain — это универсальный генератор роликов, картинок, инфографики и другого контента. Может написать за вас сценарий, добавить озвучку или анимацию.
Особенности:
- ИИ выбирает настроение для видеоролика на основе анализа текста. К примеру, может предложить сделать его более ярким или наоборот, приглушить освещение.
- Чтобы сделать проект информативнее, можно добавить в кадр поясняющие изображения — слайды, графики или диаграммы.
- Есть базовый видеомонтаж, чтобы корректировать результат.
Промт: «Птица летит над осенним лесом».
Плюсы:
- удобный интерфейс на русском языке;
- быстрое создание и скачивание;
- точное генерирование по введенному запросу.
Минусы:
- стилей оформления мало;
- качество не лучшее ― получается что-то вроде анимированного снимка;
- часто возникают ошибки и нужно начинать заново.
Заключение
Хотя AI Video Generator постоянно развиваются и многими можно пользоваться без регистрации, до полноценных видеомонтажных программ им далеко.
Многие подобные сервисы не получится оплатить из России, при том, что только в премиум-версии удаляются водяные знаки или открывается высокое разрешение. Качество создаваемого контента ниже среднего ― картинка часто смотрится неестественно и даже при самом подробном промте содержит странности, артефакты.
В отдельном видеоредакторе на компьютер реклама, социальный ролик или футаж получатся лучше. С его помощью вы сделаете проект из качественных записей и сможете отредактировать неудачные дубли. Простор для творчества заметно больше и в итоге вы получаете то, что задумывали ― не нужно мириться с ошибками ИИ.