HunyuanVideo-Avatar

HunyuanVideo-Avatar es un proyecto de investigación de Tencent que crea vídeos animados de rostros humanos a partir de audio. Le proporcionas una foto fija de una persona (o varias personas) y un clip de audio, y el modelo produce un vídeo donde los movimientos de la boca y las expresiones faciales del personaje están sincronizados con el sonido. El objetivo es generar animaciones altamente dinámicas y consistentes que luzcan naturales. La tecnología está diseñada para manejar escenarios complejos, incluyendo la animación de varios personajes en una sola escena y el control del tono emocional específico del vídeo generado.

Lo que diferencia a HunyuanVideo-Avatar son sus enfoques técnicos ante los desafíos comunes de este campo. Utiliza un módulo de inyección de imagen de personaje para mantener un parecido sólido con la foto original durante todo el vídeo, evitando el problema de "desajuste" que puede hacer que otros modelos luzcan inconsistentes. Su Audio Emotion Module permite guiar la expresión del personaje proporcionando una imagen de referencia que muestre la emoción deseada, como felicidad o sorpresa. Para escenas con más de una persona, el Face-Aware Audio Adapter aísla a cada personaje para que los labios de la persona correcta se muevan con la pista de audio correspondiente.

Esta herramienta está dirigida principalmente a investigadores y desarrolladores que trabajan en la generación de vídeo con IA. Es una solución potente para cualquiera que explore avatares digitales, asistentes virtuales o doblaje para cine y animación. Los creadores de contenido podrían eventualmente usar esta tecnología para producir vídeos sin necesidad de un rodaje completo, pero actualmente es más una demostración técnica y un recurso para que la comunidad de IA siga construyendo sobre él. El modelo está disponible para que otros experimenten en plataformas como GitHub y Hugging Face.