Base Compute

Base Compute — это AI-лаборатория, которая занимается инференсом. Проще говоря, они создают инфраструктуру и рантаймы, чтобы мощные AI-модели летали прямо на вашем железе: будь то ноутбук, смартфон или планшет.

Их главный продукт — BaseRT. Это рантайм, оптимизированный под Apple Silicon. Цифры впечатляют: разработчики заявляют, что prefill проходит до 6.4x быстрее, чем в llama.cpp, и в 3.9x быстрее, чем в MLX. Скорость декодирования тоже выше — примерно в 1.33x по сравнению с MLX. Цель команды амбициозная: запустить AGI прямо на устройствах. Это значит минимум задержек, реальная приватность и нулевые затраты на токены, ведь модель работает на вашем собственном железе.

Если копнуть глубже, BaseRT — это ядро их экосистемы. Бенчмарки на Apple M5 Pro подтверждают заметный прирост производительности над конкурентами. Кроме того, ребята строят инфраструктуру корпоративного уровня для on-premise, гибридных или полностью изолированных (air-gapped) развертываний. Это позволяет компаниям запускать AI внутри своего контура, полностью контролируя данные и системы. В плане исследований они делают ставку на автоматизированные пайплайны и GPU-кернелы, которые тюнятся под конкретное железо и модель, чтобы выжать из локального кремния максимум пропускной способности.

Кому это будет полезно? В первую очередь разработчикам и исследователям, которым нужно запускать LLM локально, не отправляя данные на сторонние серверы. Также это идеальный вариант для бизнеса со строгими требованиями к безопасности — например, в медицине, финансах или оборонном секторе. Если вы пишете приложение, которому нужен быстрый и приватный инференс на Apple, BaseRT определенно стоит попробовать.

Кстати, за проектом стоит небольшая команда очень опытных спецов из Мельбурна и Берлина, и они сейчас расширяются.