EvalCore

EvalCore es una herramienta de CLI ligera que te ayuda a detectar cuándo tu aplicación de IA empieza a comportarse peor, antes de que tus usuarios lo noten. Defines los casos de evaluación en un archivo YAML sencillo más un conjunto de datos JSONL, lo ejecutas una vez contra tu modelo real para grabar cada solicitud y respuesta en un caché local de SQLite y luego reproduces esa grabación en cada cambio futuro de código o de prompt. La reproducción es offline, determinista y no cuesta nada en CI, por lo que tu equipo obtiene un feedback rápido y fiable sin pruebas inestables ni facturas de API.

Lo que hace que EvalCore destaque es lo minimalista que es. No hay ningún SDK que integrar ni ningún marco de pruebas que aprender; solo un binario único que se comunica mediante HTTP o shell con tu aplicación, independientemente del lenguaje en el que esté escrita. Funciona con OpenAI, vLLM, Ollama, cualquier gateway compatible con OpenAI o tus propias API REST. Puedes apilar evaluadores (como buscar una palabra clave o usar una rúbrica de juez) para definir qué significa "bueno" para cada caso. El modelo de grabar/reproducir significa que la primera ejecución en vivo captura el coste y la latencia, y cada ejecución posterior en CI es instantánea y gratuita.

Esta herramienta está creada para desarrolladores que lanzan funciones de IA, ya seas un desarrollador solitario iterando prompts o un equipo que gestiona múltiples versiones de modelos. Es especialmente útil cuando cambias de modelos, ajustas prompts o actualizas dependencias y quieres saber inmediatamente si algo se rompió. Debido a que se ejecuta totalmente offline en CI sin claves de API, encaja naturalmente en los flujos de trabajo de PR existentes y se basa en códigos de salida. Si alguna vez has lanzado un cambio de prompt que, silenciosamente, hizo que tu chatbot fuera más tonto, EvalCore es la red de seguridad que no sabías que necesitabas.