Maitrix.org

Voila es una familia de modelos fundacionales de lenguaje y voz de gran tamaño, creados para la interacción de voz en tiempo real y emocionalmente expresiva. A diferencia de los sistemas antiguos que ensamblan módulos separados de reconocimiento de voz, comprensión del lenguaje y texto a voz, Voila utiliza una única arquitectura de extremo a extremo. Esto le permite escuchar y hablar al mismo tiempo (full-duplex) con una latencia de respuesta de solo 195 milisegundos, lo cual es más rápido que el tiempo de reacción humano promedio. El resultado son conversaciones que se sienten fluidas y naturales, donde el modelo capta el tono, el ritmo y la emoción en lugar de limitarse a las palabras.

Bajo el capó, Voila funciona con un Transformer jerárquico multiescala que combina la capacidad de razonamiento de un modelo de lenguaje de gran tamaño con un modelado acústico de alta calidad. Puedes definir la identidad, el tono y la personalidad de un hablante simplemente escribiendo un prompt de texto, sin necesidad de editar audio. Incluye más de un millón de voces preconfiguradas al instalarlo y permite clonar una voz nueva a partir de tan solo 10 segundos de audio. El mismo modelo también gestiona el reconocimiento automático de voz, el texto a voz e incluso la traducción de voz multilingüe con ajustes mínimos.

Voila es totalmente de código abierto, con los pesos del modelo y el código disponibles en Hugging Face y GitHub. Esto lo convierte en una opción muy adecuada para investigadores que exploran interfaces de voz de próxima generación, desarrolladores que crean agentes de voz interactivos o personajes de juegos, y aficionados que quieran experimentar con el role-play de voz en tiempo real. Si alguna vez has querido una IA que pueda bromear como Homer Simpson o debatir como Sheldon Cooper, esta es la herramienta para trastear.