PX-bench

PX-bench es un benchmark diseñado para medir qué tan bien manejan los agentes de programación de IA las decisiones de experiencia de producto del mundo real, y no solo si el código se ejecuta. La mayoría de los benchmarks de programación se centran únicamente en la corrección, pero PX-bench va más allá: evalúa a los agentes en fidelidad de intención, ajuste de producto, calidad visual, adherencia a convenciones, completitud de rutas, contenido e idioma, resiliencia y accesibilidad. Cada categoría captura el tipo de juicio que haría un diseñador de producto senior al añadir una funcionalidad a una aplicación existente.

La idea clave es que los agentes no construyen desde cero. En su lugar, añaden una funcionalidad a una aplicación anfitriona de varias pantallas que se mantiene reservada y que tiene sus propias convenciones establecidas. Esto obliga al agente a reutilizar componentes, seguir tokens de diseño y colocar las funcionalidades en el contexto adecuado, cosas que no aparecen en una prueba típica de "escribir una función". El benchmark mapea los posibles modos de fallo de antemano y califica las elecciones del agente frente a un resultado satisfactorio definido por diseñadores de producto expertos. Las rúbricas están diseñadas para ser cuasi-objetivas: solo se incluyen cuando los diseñadores senior coinciden en la respuesta correcta.

PX-bench está construido sobre el framework Inspect AI del UK AI Safety Institute, por lo que cualquier escenario puede volver a ejecutarse de forma independiente. Es más útil para equipos que construyen o ajustan agentes de programación que quieran detectar regresiones, reducir costes sin afectar la calidad y entender dónde falla el sentido de producto de su agente. Si estás lanzando un agente que escribe código para usuarios reales, PX-bench te ofrece una tarjeta de puntuación que va más allá de "¿compila?".