Soup CLI

Soup CLI es una herramienta de línea de comandos gratuita y de código abierto que gestiona todo el flujo de trabajo de post-entrenamiento para modelos de lenguaje: desde la preparación de datos hasta el entrenamiento, la evaluación y el despliegue. No se limita a lanzar una tarea de entrenamiento; inspecciona tus datos, elige el método adecuado (SFT, DPO, ORPO, SimPO, KTO y más), escribe la configuración de entrenamiento por ti, deriva tareas de evaluación a partir de tus propios datos y condiciona cada punto de control guardado a un veredicto de aprobado o suspendido. Con 23 métodos, 142 recetas y 17 formatos de cuantización, es un conjunto de herramientas notablemente exhaustivo para cualquiera que esté ajustando o alineando LLM de código abierto.

Lo que hace que Soup destaque es su función de streaming de capas. La mayoría de las herramientas de ajuste fino requieren que cargues todo el modelo base congelado en la VRAM, lo que limita lo que puedes entrenar en hardware de consumo. Soup mantiene el modelo base congelado en la RAM de la CPU o en NVMe y transmite una capa del decodificador a la vez a la VRAM, cuantizándola a 4 bits sobre la marcha. En una GPU de portátil RTX 3050 de 4 GB, esto significa que puedes ajustar Llama-3.1-8B a 119 tokens por segundo utilizando solo 3,32 GB de VRAM. El mismo enfoque de streaming funciona para métodos de ajuste de preferencias como DPO, donde el modelo de referencia es simplemente el modelo base transmitido con sus adaptadores desactivados, sin necesidad de pesos adicionales. Soup también incluye una comprobación previa que se niega a iniciar una ejecución que no quepa en tu hardware, evitando que desperdicies horas de GPU en intentos condenados.

Soup está diseñado para ingenieros de aprendizaje automático, investigadores de IA y aficionados avanzados que quieran ajustar o alinear modelos de código abierto en su propio hardware, especialmente cuando ese hardware es un portátil o una única GPU de consumo. Es ideal para experimentar con diferentes métodos de entrenamiento, ejecutar el ajuste de preferencias sin una granja de servidores o migrar desde herramientas como LLaMA-Factory o Axolotl. La CLI es sencilla: inicializas un proyecto, lo diriges a tus datos y ejecutas. Si ya estás utilizando otro marco de ajuste fino, un único comando `soup migrate` convierte tu configuración existente. Soup Zero, un banco de trabajo de escritorio con una GUI y una capa de monitoreo, también se encuentra en desarrollo.