GoModel

GoModel — это open-source AI gateway, который располагается между вашим приложением и используемыми вами провайдерами ИИ. Вместо того чтобы встраивать SDK каждого провайдера напрямую в код, вы направляете все запросы на единую конечную точку GoModel, совместимую с OpenAI и Anthropic. Она берет на себя маршрутизацию, балансировку нагрузки, автоматическое переключение при сбоях, кэширование ответов, отслеживание использования и контроль бюджета — и всё это в одном self-host бинарном файле. Можно думать об этом как об OpenRouter или LiteLLM, но полностью с открытым исходным кодом и под вашим контролем.

GoModel работает так: она аутентифицирует каждый входящий запрос, применяет соответствующий workflow (ограниченный набор правил для кэширования, аудита, guardrails, лимитов запросов и бюджетов), а затем отправляет вызов нужному провайдеру через round-robin или маршрутизацию на основе стоимости. Если провайдер дает сбой, система автоматически повторяет попытку с экспоненциальной задержкой и использованием circuit breaker или переключается на следующую модель. Поддерживается 31 провайдер, включая OpenAI, Anthropic, Gemini, Bedrock, Azure, Groq, Ollama и vLLM. Вы можете создавать алиасы, такие как «smart-chat», которые указывают на реальную модель, и менять их позже через обновление конфигурации — правки в коде не потребуются. Встроенная панель администратора предоставляет живые логи запросов, разбивку использования, управление ключами и метрики Prometheus без развертывания отдельного сервиса.

GoModel создана для команд разработки, платформенных инженеров и SaaS-компаний, которым нужно управлять затратами на ИИ и обеспечивать надежность в масштабе. Если вы запускаете multi-tenant приложение, вы можете выпускать виртуальные API-ключи для каждого клиента, отслеживать использование по путям пользователей и устанавливать бюджеты для каждого тенанта. Платформенные команды могут публиковать стабильные алиасы моделей, позволяя продуктовым командам создавать функции, вообще не касаясь учетных данных провайдеров. А если вам нужно пройти аудит, каждый запрос логируется с указанием определенного маршрута, версий guardrail и попыток обращения к провайдеру. GoModel работает на любой машине — ноутбуке, сервере или в Kubernetes — и начинает работу с SQLite, прежде чем масштабироваться до PostgreSQL или MongoDB.