oqoqo

oqoqo es una plataforma para crear evaluaciones y benchmarks personalizados para agentes de IA. Te permite definir tareas del mundo real —como crear un producto en Stripe o explicar una suscripción— y luego ejecutar esas tareas con diferentes agentes, modelos y configuraciones. Cada experimento se ejecuta en un sandbox aislado, así que puedes probar qué tan bien maneja un agente la API, la CLI o el SDK de un producto sin preocuparte por los efectos secundarios. La plataforma gestiona la infraestructura en la nube, lo que te permite escalar los experimentos sin tener que configurar servidores ni orquestar flujos de trabajo tú mismo.

Lo que diferencia a oqoqo es su enfoque en evals realistas y repetibles. Creas conjuntos de tareas con rúbricas que definen cómo es el éxito y luego lanzas ejecuciones que comparan agentes lado a lado. Después de cada ejecución, obtienes una trayectoria completa de los pasos del agente —cada clic, llamada a la API y decisión— para que puedas ver exactamente dónde acertó o falló. La plataforma también saca a la luz patrones como el desperdicio de tokens o la fricción de la interfaz, ayudándote a diagnosticar problemas más profundos. Incluso puedes activar experimentos desde CI, de modo que cualquier cambio de código que rompa el flujo de trabajo de un agente se detecte antes de que se publique.

Esta herramienta es más útil para equipos que crean agentes de IA o que integran IA en sus productos. Los desarrolladores pueden hacer benchmarks de diferentes modelos para encontrar el que mejor se adapte a su caso de uso. Los equipos de producto pueden probar si un agente realmente puede usar la interfaz de su producto. Los investigadores pueden crear benchmarks privados para tareas novedosas. Si estás cansado de las evals sintéticas que no reflejan la complejidad del mundo real, oqoqo te ofrece una forma de medir lo que realmente importa.