Sora от OpenAI поразила общественность плавностью и реалистичностью сгенерированных клипов. Однако в дебюте было упущено то, что авторы вложили огромное количество усилий, чтобы видео приобрело конечный вид. Shy Kids, создатели короткометражки Air head, поделились, что они использовали профессиональные постановки, дополненные надежной раскадровкой, монтажом и цветокоррекцией.
Команда цифрового производства Shy Kids, создавшая короткометражный фильм Air head, раскрыла правду об ИИ-инструменте Sora от OpenAI.
Художник постпродакшна Патрик Седерберг поделился, что для создания кинокартины использовались профессиональные постановки, дополненные надежной раскадровкой, монтажом, цветокоррекцией и последующей работой, такой как ротоскопирование и VFX.
Недостатки в работе Sora
Команда сняла закулисное видео, объясняющее проблемы, с которыми они столкнулись при работе с Sora от OpenAI.
Shy Kids уточняют, что интерфейс пользователя давал возможность вводить текстовые подсказки, которые затем ChatGPT OpenAI преобразовывал в более длинные предложения, инициирующие генерацию клипов. В настоящее время нет других вариантов ввода, поэтому результаты всегда различались, даже при повторном использовании одной и той же подсказки.
Для создания сцен в Air Head команда создавала несколько клипов по общему сценарию. Однако не было никакого способа, чтобы голова в форме жёлтого шара оставалась неизменной от сцены к сцене. В некоторых случаях воздушный шар оказывался красным. В других случаях на шарике рисовалось лицо.
Персонаж Air Head, известный как Сонни, часто имел веревку, прикрепленную к шарику. Поскольку Sora автоматически генерировала ее, команде приходилось редактировать видео вручную.
Shy Kids использовали только сгенерированный материал от Sora, но большую его часть приходилось сортировать, обрабатывать и стабилизировать, а также увеличивать в масштабе. Клипы были низкого разрешения, поэтому команда использовала дополнительные инструменты ИИ для их обработки.
В итоге команда создала сотни генераций, каждая из которых длилась от 10 до 20 секунд, и в конечном итоге использовала лишь небольшую их часть. Патрик Седерберг оценил соотношение неиспользованных и использованных кадров как 300 к 1.
Многие видео создавались так, как будто они были сняты в замедленном режиме, хотя это не было указано в промте. По этой причине клипы пришлось генерировать заново, чтобы создать иллюзию съемки в реальном времени.
Музыка в короткометражке была написана самими Shy Kids, а главного героя озвучивал Седерберг.
Shy Kids отмечают, что Sora — это новый и базовый фреймворк, но сомневаются, что инструмент в его текущем виде покорит кинобизнес и будет выпущен в ближайшем будущем. Однако искусственный интеллект продолжает развиваться, и у Sora регулярно появляются новые аналоги.