magicanimate.org

magicanimate.org — это open-source проект на базе AI, который делает одну простую, но эффектную вещь: берет статичное фото человека и видео с каким-нибудь движением (например, танцем), а на выходе выдает ролик, где ваш герой в точности повторяет эти движения. Над инструментом работали исследователи из Show Lab (Национальный университет Сингапура) и Bytedance. В основе лежит фреймворк MagicAnimate на базе диффузионных моделей, который отвечает за плавность и визуальную стабильность анимации. Это не просто примитивный перевод картинки в видео — AI старается сохранить внешность персонажа неизменной от кадра к кадру.

Что здесь действительно круто, так это универсальность. MagicAnimate может переносить движения с обычных людей, мультяшных героев и даже с картин маслом — так что заставить портрет эпохи Ренессанса танцевать теперь вполне реально. Инструмент отлично дружит с моделями text-to-image вроде DALL-E 3: можно сначала сгенерировать персонажа по текстовому промпту, а затем его оживить.

Конечно, без нюансов не обходится. Иногда лица и кисти рук могут «плыть», а стиль изображения в процессе анимации может неожиданно сместиться, например, от аниме к реализму. Тем не менее, проект полностью открыт: все пре-тренированные чекпоинты доступны, а потестить всё можно в демо на HuggingFace и Replicate.

В первую очередь проект ориентирован на разработчиков и исследователей в области анимации, но благодаря демо-версиям им может воспользоваться любой желающий. Можно запустить инструмент в Colab или использовать Replicate API, чтобы встроить анимацию в свое приложение. Где это применить? Вариантов масса: от создания вирусных танцев из обычных фото для соцсетей до оживления концепт-артов для инди-игр или визуализации исторических личностей для образовательных роликов. В общем, это серьезный шаг вперед в том, чтобы сделать качественную анимацию людей доступной для всех.