Foundry Local

Foundry Local — это набор нативных SDK, которые позволяют скачивать, кэшировать и запускать оптимизированные AI-модели прямо на устройстве пользователя. Главная фишка в том, что данные не улетают в облачный API: весь инференс происходит локально на CPU, GPU или NPU, а SDK сам решает, какое железо использовать в конкретный момент. Инструмент поддерживает Python, JavaScript, C# и Rust, так что можно быстро собрать прототип и выкатить его в продакшн, не переписывая весь стек.

Жизненный цикл работы с SDK максимально простой: создаете менеджер, выбираете модель из каталога, один раз скачиваете её, загружаете и вызываете чат- или аудио-клиенты прямо из приложения. Вам не придется вручную настраивать execution providers или продумывать запасные варианты — SDK автоматически выберет лучший доступный чип (NPU, GPU или CPU). Модели и рантайм кэшируются локально, поэтому все функции работают даже без интернета. А если вдруг понадобится REST-эндпоинт, можно запустить опциональный сервер, совместимый с OpenAI, чтобы легко интегрироваться с такими фреймворками, как LangChain.

Это идеальный выбор для разработчиков приложений, где приватность стоит на первом месте — например, в медицине, финансах или при создании персональных ассистентов, когда данные вообще не должны покидать устройство. Также Foundry Local отлично подходит для мобильного и десктопного софта, которому нужен быстрый и стабильный AI без зависимости от задержек сети. Если вам нужно встроить LLM-чат, обработку аудио или другие AI-функции, не разворачивая при этом целую инфраструктуру, Foundry Local предлагает очень чистый, SDK-ориентированный подход.