Foundry Local

Foundry Local es un conjunto de SDKs nativos que te permiten descargar, almacenar en caché, cargar y llamar a modelos de IA optimizados íntegramente en el dispositivo del usuario. En lugar de enviar datos a una API en la nube, mantienes la inferencia en el proceso —en la CPU, GPU o NPU— y el SDK se encarga de la selección del hardware por ti. Es compatible con Python, JavaScript, C# y Rust, por lo que puedes crear prototipos rápidamente y lanzar apps de producción sin tener que reescribir tu stack.

El ciclo de vida del SDK es sencillo: creas un gestor, eliges un modelo de un catálogo, lo descargas una vez, lo cargas y luego llamas a los clientes de chat o de audio directamente desde tu app. No hay necesidad de gestionar proveedores de ejecución o soluciones de respaldo: el SDK elige automáticamente el mejor hardware disponible (NPU, GPU o CPU). Los modelos y el entorno de ejecución se almacenan en caché localmente, por lo que las funciones sirven sin conexión. Y si alguna vez necesitas un endpoint REST, puedes iniciar un servidor opcional compatible con OpenAI para conectarlo a frameworks como LangChain.

Esta herramienta es ideal para desarrolladores que crean apps sensibles a la privacidad —salud, finanzas, asistentes personales— donde los datos nunca deben salir del dispositivo. También funciona bien para apps móviles y de escritorio que necesitan una IA rápida y fiable sin depender de la latencia de la red. Si quieres integrar un chat de LLM, procesamiento de audio u otras funciones de IA en el dispositivo sin gestionar infraestructura, Foundry Local te ofrece un enfoque limpio y centrado en el SDK.