RunInfra

RunInfra — это веб-сервис для разработчиков и MLOps-команд, который берет на себя всю рутину по оптимизации open-source AI моделей перед запуском в продакшн. Больше не нужно вручную перебирать serving-движки, подбирать GPU и бесконечно крутить настройки конфигурации. Вы просто описываете свою модель и нагрузку обычным языком, а RunInfra сама прогоняет бенчмарки и находит идеальную комбинацию.

На выходе вы получаете прозрачный «чек» с реальными цифрами: p95 latency, пропускная способность, потребление VRAM и стоимость за миллион токенов. А вместе с этим — готовый стек для деплоя, который можно запустить сразу или экспортировать.

Инструмент сравнивает такие движки, как vLLM, SGLang и TensorRT-LLM, и автоматически настраивает квантование, speculative decoding, генерацию ядер и continuous batching. Что по железу? Можно использовать NVIDIA GPU (H100, H200, A100, L4, L40S, B200) с оплатой за токены или забрать весь стек в виде Dockerfiles, конфигов Kubernetes и launch-скриптов для self-hosting. RunInfra работает с огромным количеством моделей — Llama, Qwen, Mistral, DeepSeek, Whisper и многими другими, будь то LLM, vision, audio, embedding или задачи классификации.

Это решение для инженеров, которым нужен полный контроль над AI-инфраструктурой без гадания на кофейной гуще. Особенно RunInfra выручит команды, которые масштабируют open-source модели и ценят предсказуемую производительность, прозрачные расходы и возможность легко сменить облачного провайдера. Проект поддерживается Y Combinator, и их главная цель — сделать деплой AI измеримым, воспроизводимым и портативным.