Live Portrait

Live Portrait — это веб-сервис, который буквально «оживляет» обычные портретные фото, превращая их в реалистичные видео. Схема простая: загружаете четкий снимок лица, а затем выбираете или добавляете свое «ведущее» видео (driving video), где кто-то двигается, говорит или меняет выражение лица. Инструмент считывает черты вашего фото и переносит на них всю мимику из видео. В итоге получается плавная анимация, при которой человек на фото остается узнаваемым. Кстати, Live Portrait работает не только с селфи: можно анимировать даже масляную живопись, скульптуры или 3D-рендеры.

Если заглянуть «под капот», то технология базируется на фреймворке с неявными ключевыми точками, который обучили на 69 миллионах качественных кадров. Здесь есть тонкие настройки: с помощью скалярных значений можно точно отрегулировать, насколько открыты глаза или в каком положении находятся губы. Модули сшивания и ретаргетинга делают картинку чистой, при этом система работает очень быстро — на RTX 4090 генерация одного кадра занимает около 12.8ms. Также поддерживается cross-reenactment: можно перенести мимику одного человека на фото другого, даже если они стоят в совершенно разных позах. Весь код и модели открыты на GitHub, а для тех, кто не хочет ничего настраивать, есть бесплатный playground.

Кому это будет полезно? В первую очередь контент-мейкерам, которым нужно быстро оживить статичные изображения, и аниматорам, чтобы создавать мимику по референсу. Также инструмент будет интересен AI-исследователям. Live Portrait отлично подходит для создания анимированных аватаров, точечного редактирования портретных видео или просто создания цепляющего контента для соцсетей. Попробовать основные фишки можно в бесплатном playground, а разработчики могут забрать open-source код и интегрировать его в свои проекты.