Emu Video

Emu Video — это исследовательский проект от Meta AI, который генерирует короткие видео по текстовым промптам. Он берет описание вроде «хомяк управляет авторикшей» и создает 4-секундный ролик с разрешением 512px и частотой 16 кадров в секунду. Модель спроектирована так, чтобы быть простой: она избегает многоступенчатых каскадов, которые использовались в более ранних системах, разделяя задачу всего на два шага.

На первом шаге по текстовому промпту генерируется одно изображение. На втором шаге это изображение и исходный промпт используются для создания видео. Такой факторизованный подход делает обучение более эффективным и при этом обеспечивает высокое качество результатов. В ходе человеческих оценок Emu Video превзошла несколько существующих моделей, включая Make-a-Video, Gen2 и Pika Labs, как по качеству видео, так и по тому, насколько точно видео соответствует промпту. Примеры, сгенерированные на сайте, демонстрируют разные сцены — от лесного пожара до двух ленивцев, играющих в шахматы в замедленной съемке.

Emu Video в первую очередь является исследовательской демонстрацией. Она наиболее полезна для исследователей ИИ и инженеров, интересующихся генерацией видео из текста, а также для создателей контента, которые хотят поэкспериментировать с созданием коротких клипов по тексту. На сайте есть ссылки на научную статью и пост в блоге, но публичного API или коммерческого продукта нет. Если вам любопытно, где сейчас находится генерация видео с помощью ИИ, это солидный пример современного уровня развития технологий.