Omlx AI

Omlx AI es un servidor de inferencia de LLM local creado específicamente para Macs con Apple Silicon. Utiliza el framework MLX para ejecutar modelos de lenguaje extensos directamente en tu máquina, centrándose en una baja latencia y un alto rendimiento para agentes de programación como Claude Code, OpenClaw y Cursor. En lugar de esperar entre 30 y 90 segundos por una respuesta, Omlx AI promete un tiempo hasta el primer token inferior a 5 segundos en el segundo turno, gracias al almacenamiento en caché persistente en SSD.

La innovación clave es el paged SSD KV caching. Las herramientas de inferencia local tradicionales, como Ollama y LM Studio, almacenan la caché de clave-valor en la memoria, la cual se invalida cuando el contexto cambia a mitad de una sesión. Omlx AI guarda cada bloque de caché en el disco, por lo que, cuando un agente de programación regresa a un contexto anterior, los datos almacenados en caché se restauran desde el SSD en milisegundos. Esto reduce drásticamente el recálculo. La herramienta también es compatible con el continuous batching, gestionando múltiples solicitudes concurrentes con una aceleración de hasta 4,14× con una concurrencia de 8×. Funciona como una aplicación nativa de la barra de menús de macOS (no es Electron) con un panel web para gestionar modelos, monitorizar el rendimiento y generar comandos de configuración de API.

Omlx AI es compatible con los formatos de API de OpenAI y Anthropic, por lo que funciona como un backend sustituible para cualquier cliente que soporte esos estándares. Puede servir múltiples tipos de modelos simultáneamente —LLMs, VLMs, modelos de embedding y rerankers— e incluye soporte de tool calling para JSON, Qwen, Gemma, GLM, MiniMax y MCP. El público objetivo son desarrolladores e investigadores de IA que quieran ejecutar modelos grandes localmente en un Mac sin los largos tiempos de espera típicos del almacenamiento en caché solo en memoria. Resulta especialmente útil para cualquier persona que utilice agentes de programación que requieran cambios de contexto frecuentes, como ingenieros de software que experimenten con la programación autónoma o investigadores que prueben modelos de razonamiento como DeepSeek y Qwen. La instalación es sencilla: descarga el DMG o instala desde el código fuente, y la herramienta lee automáticamente tu caché existente de Hugging Face, por lo que no es necesario volver a descargar los modelos.