EvalCore

EvalCore — это легкий CLI-инструмент, который помогает вовремя заметить, что ваше AI-приложение начало работать хуже, еще до того, как на это пожалуются пользователи.

Принцип работы простой: вы описываете тестовые кейсы в YAML-файле и подгружаете датасет в JSONL. Сначала запускаете инструмент один раз на реальной модели, чтобы EvalCore записал все запросы и ответы в локальный SQLite-кеш. После этого любой новый запуск при изменении кода или промпта превращается в «воспроизведение» этой записи. Такой подход делает тесты в CI офлайн-процессом: они работают детерминировано, мгновенно и абсолютно бесплатно, избавляя команду от нестабильных тестов и лишних счетов за API.

Главная фишка EvalCore — в его минимализме. Вам не нужно интегрировать SDK или изучать очередной тестовый фреймворк. Это один бинарный файл, который общается с вашим приложением через HTTP или shell, независимо от того, на каком языке оно написано. Инструмент совместим с OpenAI, vLLM, Ollama, любыми OpenAI-совместимыми шлюзами или вашими собственными REST API. Чтобы определить, что именно считать «хорошим» результатом, можно комбинировать разные скореры — например, проверять наличие ключевого слова или использовать рубрикатор-судью.

EvalCore создан для разработчиков, которые активно внедряют AI-фичи: от соло-разработчиков, дорабатывающих промпты, до больших команд с множеством версий моделей. Он незаменим, когда вы меняете модель, правите инструкции или обновляете зависимости и хотите сразу понять, не сломалось ли что-то важное. Поскольку в CI всё работает офлайн и без API-ключей, инструмент легко вписывается в привычный workflow с PR и проверкой exit-кодов.

Если вы хоть раз выкатывали правку в промпте, которая незаметно сделала вашего чат-бота глупее, EvalCore станет той самой страховочной сеткой, которой вам не хватало.