vLLM

Если вам нужно запустить LLM в продакшн и при этом не сойти с ума от затрат на железо, присмотритесь к vLLM. Это высокопроизводительный движок для инференса и сервинга моделей, который заточен под две главные вещи: максимальную пропускную способность и бережное отношение к памяти.

Главная «фишка» здесь — технология PagedAttention. Если просто, она оптимизирует управление памятью так, чтобы почти ничего не пропадало зря. В итоге vLLM может обрабатывать гораздо больше одновременных запросов, не жертвуя скоростью отклика.

Чтобы GPU не простаивал, в системе реализован continuous batching. Приятный бонус — vLLM всеяден в плане железа: поддерживаются NVIDIA CUDA, AMD ROCm, Intel XPU и даже Apple Silicon. А чтобы переезд на этот движок не превратился в кошмар, разработчики сделали его совместимым с OpenAI API — просто вставляете его в свои приложения, и всё работает.

Из моделей поддерживается огромный список open-source решений от Meta, Google, Mistral AI и Qwen, которые уже оптимизированы «из коробки».

Для кого это? В первую очередь для AI-исследователей, ML-инженеров и разработчиков, которым нужно масштабировать LLM. vLLM помогает компаниям заметно сократить расходы на инференс, выжимая из оборудования максимум. Проект полностью open-source, а значит, за спиной у него мощное комьюнити в Slack, на форумах и GitHub — от небольших пет-проектов до серьезных корпоративных внедрений.