Experiential Labs

Experiential Labs — это open source AI gateway, который предоставляет один API endpoint для доступа к десяткам больших языковых моделей от таких провайдеров, как OpenAI, Anthropic, Google, Meta, DeepSeek, Mistral и других. Вы используете собственные API-ключи этих провайдеров (или используете хостинг вывода от Experiential Labs), при этом шлюз не берет никакой наценки — вы платите ровно столько, сколько запрашивает провайдер. Тот же самый endpoint поддерживает и модели, которые вы хостите на собственных GPU или через такие сервисы, как Bedrock и Azure AI Foundry.

Полезность Experiential Labs заключается в интеллектуальном слое, который работает поверх маршрутизации. Он отслеживает ваш трафик и предлагает более дешевые или быстрые модели, которые показывают такие же результаты для конкретных промптов. Он находит возможности для кэширования — при его включении повторяющиеся токены возвращаются со скидкой 90%. Кроме того, вы можете дообучить маленькую модель под свой рабочий процесс, подтвердить её качество в симуляции с замкнутым циклом, а затем развернуть её через тот же API. Консоль предоставляет данные о расходах на каждого агента, задержке каждой модели, проценте попаданий в кэш и логах запросов в реальном времени. Вы можете устанавливать лимиты на каждый ключ по дням, неделям или месяцам, а также определять белые списки моделей, чтобы ключ стажера работал только с локальными моделями.

Этот инструмент создан для разработчиков и ИИ-команд, которые управляют подписками на несколько моделей и хотят централизовать доступ, контролировать расходы и оптимизировать производительность без привязки к конкретному вендору. Типичные сценарии использования включают запуск агента поддержки, который использует дешевую flash-модель для простых запросов и переключается на frontier-модель для сложных, или дообучение модели с 4 млрд параметров для исследования претензий, которая соответствует точности большой модели при цене в десять раз ниже. Если вы уже используете SDK от OpenAI или Anthropic, вам достаточно просто изменить базовый URL — остальная часть вашего кода останется прежней.