Siloam AI (alpha)

Siloam AI (alpha) — это платформа для обсервабилити, созданная специально для приложений на базе больших языковых моделей. По сути, это полноценный мониторинг вашего AI-бэкенда: сервис собирает каждый API-запрос, который делает ваше приложение, и выводит все данные на один дашборд. Теперь вы точно знаете, что происходит «под капотом» ваших моделей. Система в реальном времени логирует все входы и выходы, расход токенов, стоимость и данные сессий.

Работает всё максимально просто: платформа принимает API-логи через обычный POST-запрос. Вы отправляете на эндпоинт Siloam AI название модели, промпт, ответ, ID сессии, количество токенов и стоимость — остальное сервис берет на себя. В итоге вы получаете живой мониторинг запросов без задержек и сэмплирования.

Отдельно отмечу функцию smart detection (пока в бете): она автоматически подсвечивает подозрительные ответы, несостыковки и потенциальные галлюцинации еще до того, как пользователь их увидит. Кроме того, здесь можно за миллисекунды искать по миллионам запросов, фильтровать данные по моделям или пользователям, а сама система умеет самостоятельно находить тренды и аномалии.

Siloam AI (alpha) будет особенно полезен разработчикам и продакт-командам, которые внедряют LLM-фичи и хотят понимать, как модели ведут себя в продакшене. Это отличный способ быстро отладить странные ответы, отследить паттерны использования и контролировать расходы.

Для старта есть бесплатный тариф: до 1 000 логов в месяц с хранением данных в течение 30 дней. Можно попробовать инструмент без каких-либо обязательств, а для крупных enterprise-команд предусмотрены платные тарифы с неограниченным количеством логов.