magicanimate.org

magicanimate.org es un proyecto de IA de código abierto que toma una sola imagen de una persona y un video de movimiento (como un clip de baile) y produce un nuevo video donde la persona realiza ese movimiento. Creada por investigadores de Show Lab (National University of Singapore) y Bytedance, la herramienta utiliza un marco basado en difusión llamado MagicAnimate para generar animaciones temporalmente consistentes. Va más allá de la simple conversión de imagen a video al mantener estable la apariencia de la persona a través de los fotogramas mientras sigue los movimientos del video de referencia.

Lo que hace que magicanimate.org destaque es su capacidad para trabajar con movimientos de diferentes personas, personajes de dibujos animados e incluso pinturas al óleo; puedes hacer que un retrato renacentista baile. El marco se integra con modelos de texto a imagen como DALL-E 3, por lo que puedes generar primero una imagen a partir de un prompt y luego animarla. Aunque el resultado es impresionantemente fluido, la herramienta tiene algunos inconvenientes: los rostros y las manos pueden mostrar distorsiones, y el estilo predeterminado puede variar entre el anime y el realismo. El proyecto es totalmente de código abierto, con checkpoints preentrenados y demos en línea en HuggingFace y Replicate.

El público principal son investigadores y desarrolladores interesados en la animación humana, pero las demos lo hacen accesible para cualquier persona. Puedes probarlo en Colab o usar la API de Replicate para integrar la animación en tus propias aplicaciones. Los casos de uso en el mundo real incluyen convertir fotos fijas en videos de baile para redes sociales, animar diseños de personajes para juegos indie o visualizar figuras históricas en movimiento para contenido educativo. Es un paso sólido hacia adelante para hacer que la animación de video humano sea más accesible y consistente.