Base Compute

Base Compute es un laboratorio de inferencia de IA que crea entornos de ejecución e infraestructura para ejecutar modelos de IA potentes directamente en tu propio hardware: portátiles, teléfonos y tabletas. Su producto estrella, BaseRT, es un entorno de ejecución optimizado para Apple Silicon que afirma realizar el prefill hasta 6,4 veces más rápido que llama.cpp y 3,9 veces más rápido que MLX, con velocidades de decode hasta 1,33 veces más rápidas que MLX. La misión de la empresa es lograr que la AGI se ejecute en el dispositivo, lo que significa una menor latencia, privacidad real y un coste marginal cero una vez que el modelo funciona en el hardware que ya posees.

BaseRT es el núcleo de su oferta. Los benchmarks de la página muestran ganancias de rendimiento decentes frente a entornos de ejecución competidores en hardware Apple M5 Pro. La empresa también está construyendo infraestructura de grado empresarial para despliegues locales, híbridos o totalmente aislados, permitiendo que las organizaciones ejecuten IA dentro de su propio entorno con control total sobre los datos y los sistemas. Su investigación se centra en tuberías de investigación automatizadas y kernels de GPU ajustados por hardware y por modelo para exprimir el máximo rendimiento del silicio local.

El público principal de Base Compute son desarrolladores e investigadores que necesitan ejecutar LLM localmente sin enviar datos a servidores de terceros. También es una buena opción para empresas con requisitos estrictos de privacidad de datos, como sanidad, finanzas o defensa. Si estás creando una aplicación que necesita una inferencia rápida y privada en hardware de Apple, BaseRT merece una mirada. La empresa es un equipo pequeño y senior basado en Melbourne y Berlín, y están contratando.