HunyuanVideo-Avatar

HunyuanVideo-Avatar — это исследовательский проект от Tencent, который создает анимированные видео с человеческими лицами на основе аудио. Вы предоставляете статичное фото человека (или нескольких людей) и аудиоклип, а система создает видео, где движения губ и мимика персонажа синхронизированы со звуком. Цель проекта — генерировать высокодинамичные и последовательные анимации, которые выглядят естественно. Технология разработана так, чтобы справляться со сложными сценариями, включая анимацию нескольких персонажей в одной сцене и управление конкретным эмоциональным тоном создаваемого видео.

HunyuanVideo-Avatar выделяется своими техническими подходами к типичным проблемам в этой области. В нем используется модуль инъекции изображения персонажа, чтобы сохранить сильное сходство с оригинальным фото на протяжении всего видео, избегая проблемы «несоответствия», из-за которой другие модели могут выглядеть непоследовательно. Его Audio Emotion Module позволяет направлять экспрессию персонажа с помощью референсного изображения с нужной эмоцией, например, счастьем или удивлением. Для сцен, где задействовано более одного человека, Face-Aware Audio Adapter изолирует каждого персонажа, чтобы губы нужного героя двигались в такт соответствующей аудиодорожке.

Этот инструмент предназначен прежде всего для исследователей и разработчиков, работающих в сфере генерации видео с помощью ИИ. Это мощное решение для всех, кто изучает цифровых аватаров, виртуальных помощников или дубляж для кино и анимации. Создатели контента со временем могли бы использовать эту технологию для производства видео без полноценных съемок, но на данный момент проект представляет собой скорее техническую демонстрацию и ресурс для сообщества ИИ, на базе которого можно строить свои решения. Модель доступна для экспериментов на таких платформах, как GitHub и Hugging Face.