RunInfra

RunInfra es una herramienta basada en la web que ayuda a desarrolladores y equipos de MLOps a optimizar modelos de IA de código abierto para producción. En lugar de probar manualmente diferentes motores de servicio, objetivos de GPU y ajustes de configuración, describes tu modelo y carga de trabajo en inglés sencillo y RunInfra analiza las opciones para encontrar la mejor combinación. Después, te entrega un recibo transparente con la latencia p95 medida, el rendimiento, el uso de VRAM y el coste por millón de tokens, además de un stack desplegable que puedes ejecutar o exportar.

La herramienta compara motores como vLLM, SGLang y TensorRT-LLM, y ajusta automáticamente configuraciones como la cuantización, la decodificación especulativa, la generación de kernels y el procesamiento por lotes continuo. Puedes desplegar en GPUs de NVIDIA (H100, H200, A100, L4, L40S, B200) y pagar por token, o exportar todo el stack como Dockerfiles, configuraciones de Kubernetes y scripts de lanzamiento para hacer un self-host. RunInfra es compatible con una amplia gama de modelos abiertos —Llama, Qwen, Mistral, DeepSeek, Whisper y muchos más— en tareas de LLM, visión, audio, embedding y clasificación.

Esta herramienta está creada para ingenieros que quieren control sobre su infraestructura de IA sin tener que adivinar. Resulta especialmente útil para equipos que despliegan modelos de código abierto a escala y necesitan un rendimiento predecible, transparencia de costes y la capacidad de moverse entre proveedores de nube. RunInfra cuenta con el respaldo de Y Combinator y se enfoca en lograr que el despliegue de IA en producción sea medible, reproducible y portable.