Omlx AI

Omlx AI — это локальный сервер вывода LLM, созданный специально для Mac с Apple Silicon. Он использует фреймворк MLX для запуска больших языковых моделей прямо на вашем устройстве, уделяя особое внимание низкой задержке и высокой пропускной способности для таких кодинг-агентов, как Claude Code, OpenClaw и Cursor. Вместо того чтобы ждать ответа по 30–90 секунд, Omlx AI обещает время до появления первого токена менее 5 секунд на втором шаге благодаря постоянному кэшированию на SSD.

Ключевым нововведением является постраничное KV-кэширование на SSD. Традиционные инструменты локального вывода, такие как Ollama и LM Studio, хранят ключ-значение кэш в оперативной памяти, который аннулируется при смене контекста посреди сессии. Omlx AI сохраняет каждый блок кэша на диск, поэтому, когда кодинг-агент возвращается к предыдущему контексту, кэшированные данные восстанавливаются с SSD за миллисекунды. Это резко сокращает повторные вычисления. Инструмент также поддерживает непрерывный батчинг, обрабатывая несколько одновременных запросов с ускорением до 4,14× при параллелизме 8×. Он работает как нативное приложение в строке меню macOS (не на Electron) с веб-панелью для управления моделями, мониторинга производительности и генерации команд конфигурации API.

Omlx AI совместим с форматами API OpenAI и Anthropic, поэтому он работает как готовый бэкенд для любого клиента, поддерживающего эти стандарты. Он может одновременно обслуживать несколько типов моделей — LLM, VLM, модели эмбеддингов и реранкеры — и включает поддержку вызова инструментов для JSON, Qwen, Gemma, GLM, MiniMax и MCP. Целевая аудитория — разработчики и исследователи ИИ, которые хотят запускать большие модели локально на Mac без длительного ожидания, характерного для кэширования только в памяти. Он особенно полезен для всех, кто использует кодинг-агентов, требующих частого переключения контекста, например, для инженеров по программному обеспечению, экспериментирующих с автономным кодингом, или исследователей, тестирующих рассуждающие модели, такие как DeepSeek и Qwen. Установка проста: скачайте DMG или установите из исходного кода, и программа автоматически прочитает ваш существующий кэш Hugging Face, так что повторно скачивать модели не потребуется.