Siloam AI (alpha)

Siloam AI (alpha) es una plataforma de observabilidad creada específicamente para aplicaciones que dependen de modelos de lenguaje extensos. Recopila cada llamada a la API de LLM que realiza tu aplicación y presenta los datos en un único panel para que puedas ver exactamente qué están haciendo tus modelos. Piensa en ello como una herramienta de monitorización para tu backend de IA: registra entradas, salidas, uso de tokens, coste y datos de sesión en tiempo real.

La plataforma funciona ingiriendo registros de API a través de una solicitud POST sencilla. Envías el nombre del modelo, la entrada, la salida, el ID de sesión, el recuento de tokens y el coste al endpoint de Siloam AI, y esta se encarga del resto. Una vez que los datos están dentro, obtienes una monitorización de solicitudes en vivo sin muestreos ni retrasos. La función de detección inteligente (actualmente en beta) marca automáticamente respuestas sospechosas, inconsistencias y posibles alucinaciones antes de que lleguen a tus usuarios. También puedes buscar millones de solicitudes en milisegundos, filtrar por modelo o usuario y dejar que el sistema detecte tendencias y anomalías por su cuenta.

Siloam AI (alpha) es más útil para desarrolladores y equipos de producto que están lanzando funciones impulsadas por LLM y necesitan entender cómo se comportan sus modelos en producción. Ayuda a depurar salidas inesperadas, rastrear patrones de uso y vigilar los costes. El plan gratuito admite hasta 1.000 registros al mes con una retención de 30 días, lo que facilita probarlo sin compromiso. Los planes de pago escalan hasta registros ilimitados para equipos enterprise.