PX-bench

Знакомьтесь, PX-bench. Это бенчмарк, который проверяет AI-кодинг агентов на умение принимать правильные продуктовые решения. Главная фишка в том, что здесь оценивают не просто работоспособность кода, а то, насколько результат соответствует реальному пользовательскому опыту.

Большинство тестов смотрят только на корректность синтаксиса, но PX-bench копает глубже. Он анализирует точность реализации задумки, визуальный стиль, соблюдение конвенций, полноту путей пользователя, работу с контентом, устойчивость и accessibility. По сути, это набор критериев, по которым старший продуктовый дизайнер оценивал бы новую фичу в реальном приложении.

Суть подхода в том, что агенты не пишут код с нуля. Им дают готовое многоэкранное приложение со своими правилами, и они должны внедрить в него новую функцию. Это заставляет AI переиспользовать существующие компоненты, следовать дизайн-токенам и учитывать контекст — всё то, что обычно вылетает из стандартных тестов в духе «напиши функцию». Все возможные ошибки прописаны заранее, а ответы агента сравниваются с эталоном, созданным экспертами. Причем рубрики оценки максимально объективны: в них попадает только то, с чем согласны все senior-дизайнеры.

Технически PX-bench построен на фреймворке Inspect AI от UK AI Safety Institute, так что любой сценарий можно перепроверить независимо. Инструмент будет максимально полезен командам, которые создают или дообучают кодинг агентов: он помогает ловить регрессии, снижать затраты без потери качества и понимать, в каких моментах у AI «проседает» продуктовое чутье. Если вы выпускаете агента для реальных пользователей, PX-bench даст вам честный ответ на вопрос: «А удобно ли этим пользоваться?», а не просто «Компилируется ли код?».