IQ Routing

IQ Routing — это шлюз, который располагается между вашим приложением и провайдерами LLM, такими как OpenAI, Anthropic и Google. Вместо того чтобы отправлять каждый запрос на самую дорогую модель, он оценивает каждый вызов и направляет его на самую дешевую модель, которая всё еще соответствует вашим стандартам качества. Компания сообщает о сокращении расходов от 40 до 80 процентов на собственном трафике. Вы можете начать использовать сервис примерно за тридцать секунд, указав вашему текущему SDK OpenAI или Anthropic один базовый URL.

Ядром сервиса является классификатор, который определяет реальную сложность каждого запроса, а затем сопоставляет стоимость и задержку у разных провайдеров, прежде чем выбрать модель. Он также включает семантический кэш, который перехватывает повторяющиеся и похожие запросы, возвращая ответы без повторной оплаты. Для команд, использующих такие инструменты, как Claude Code или Cursor, которые привязывают вас к одному семейству моделей, IQ Routing остается внутри этого семейства, при этом направляя каждый шаг на подходящий уровень модели. Панель управления показывает ленту запросов в реальном времени, бюджеты на каждую команду, журналы аудита и разбивку затрат по моделям.

Этот инструмент создан для инженерных команд, запускающих в продакшене чат-ботов, RAG-конвейеры или циклы агентов, которые хотят контролировать растущие расходы на LLM без ущерба для качества. Он также помогает финансовым и операционным отделам точно отслеживать, куда уходят деньги, благодаря бюджетам на каждую команду и детальному разделению затрат. Бесплатный тариф поддерживает до 240 запросов в минуту при использовании собственных ключей, а платные планы добавляют оповещения, настраиваемые диапазоны маршрутизации и варианты развертывания on-prem.