daVinci-MagiHuman

DaVinci MagiHuman es un modelo de IA de código abierto que crea videos de bustos parlantes a partir de una sola foto de retrato. Tú proporcionas una imagen clara de un rostro y, ya sea un guion de texto o un archivo de audio. Entonces, el modelo genera un video donde la persona de la foto parece hablar, con movimientos de labios que están sincronizados con el audio proporcionado. Lo hace en un proceso unificado, produciendo tanto los fotogramas del video como el audio correspondiente en conjunto, en lugar de utilizar sistemas separados para el habla y la animación.

La herramienta es un modelo de 15.000 millones de parámetros desarrollado por Sand.ai y el GAIR Lab de la Universidad Jiao Tong de Shanghái. Su principal distinción técnica es su arquitectura Transformer de flujo único, que elimina el ruido de los tokens de video y audio simultáneamente. Este enfoque aspira a una mejor calidad de sincronización labial y eficiencia. El modelo se publica bajo la licencia Apache 2.0, lo que significa que los pesos están disponibles para descargar, inspeccionar y usar con fines comerciales de forma gratuita. Puedes ejecutarlo a través de una demo web alojada, o realizar un self-host descargando los checkpoints desde Hugging Face o clonando el repositorio de GitHub.

DaVinci MagiHuman es útil para desarrolladores e investigadores que experimentan con IA de video generativo, así como para creadores que necesitan producir videos de avatares sencillos y con sincronización labial sin una edición compleja. Es una opción práctica para generar videos explicativos, mensajes personalizados o prototipos de contenido donde tener un modelo de código abierto y capaz de self-host sea una prioridad sobre la calidad cinematográfica. Para obtener los mejores resultados, usa un retrato claro, de frente y con buena iluminación.