happy-horses.io

Знакомьтесь, happy-horses.io — это open-source инструмент для генерации видео с помощью AI, который умеет делать одну очень крутую вещь: создавать видео и синхронный звук одновременно.

В основе лежит единая 40-слойная архитектура Transformer. Она обрабатывает токены видео и аудио параллельно, поэтому вам больше не нужно возиться с отдельной постобработкой звука. Инструмент поддерживает два рабочих процесса — text-to-video и image-to-video, выдавая ролики длиной от 4 до 15 секунд в разрешении до 2K.

Главная фишка happy-horses.io в том, что AI генерирует не только картинку, но и диалоги, фоновые шумы и Foley-эффекты прямо в процессе. Благодаря дистилляции DMD-2 работает всё это очень быстро (всего 8 шагов инференса). Кроме того, здесь есть поддержка липсинка на семи языках и огромный выбор стилей: от фотореализма до аниме и киберпанка. Кстати, в бенчмарках по генерации видео модель показывает себя очень достойно.

Кому это будет полезно? В первую очередь контент-мейкерам, SMM-специалистам и видеографам. Это отличный вариант для создания промо-роликов, быстрых прототипов визуальных концептов или многоязычного контента без необходимости переснимать исходники.

Для тех, кто любит покопаться «под капотом», open-source формат позволяет дообучать модель и разворачивать её на собственной инфраструктуре. А для всех остальных есть простой веб-интерфейс, где можно создавать видео, не вникая в технические сложности.