osFoundry / Platform
Локальные серверы
Запускайте локальный инференс на своей машине или Workstation. Маршруты автоматические — Maestro выбирает локально, когда может.
Что это
Локальные серверы позволяют выполнять ИИ-инференс на своей машине вместо того, чтобы отправлять каждый запрос в размещённый API. В osFoundry встроен локальный сервер инференса: он загружает файлы моделей в формате GGUF из папки на вашем Mac или рабочей станции и отдаёт их остальной части приложения. Поскольку модель работает на оборудовании, которое у вас уже есть, локальный запуск ничего не стоит за токен, не требует API-ключа и оставляет промпт и его данные на устройстве. Это важно, когда содержимое конфиденциально, подпадает под регулирование или просто не должно покидать компанию.\n\nВнутри osFoundry Maestro — это слой маршрутизации, который решает, куда идёт каждый запрос. Маршрутизация автоматическая: Maestro выбирает локальный сервер всякий раз, когда запрос укладывается в то, что способна обработать ваша машина, и обращается к облачной модели (используя ваш собственный ключ) только тогда, когда задаче нужны возможности, недоступные локальной модели. Настраивать это для каждого сообщения не нужно: это постоянная политика, действующая в чате, у агентов и в ролях конвейера. Управление локальным рантаймом остаётся за вами через панель настроек: сколько слоёв трансформера выгружать на GPU, размер окна контекста, квантизация KV-кэша (f16, bf16, q8_0, q4_0 и другие), число параллельных слотов запросов и, на машинах с несколькими GPU, как разбить модель между устройствами.\n\nЭто важно, потому что большинство продуктов класса \"ИИ в вашем рабочем пространстве\" оставляют данным ровно одно направление: свои серверы. osFoundry по замыслу построен на BYOK и принципе local-first. Локальные серверы — фундамент этого замысла: вариант, который ничего не стоит, ничего не раскрывает и работает офлайн для тех моделей, что тянет ваше железо, а рядом с ними лежат ваши облачные BYOK-ключи для более тяжёлых задач. Одно рабочее пространство, оба пути, без платы за место и без наценки перепродавца ни на одном из них.
Ключевые возможности
- Запускает GGUF-модели прямо на вашем Mac или рабочей станции через встроенный сервер инференса llama.cpp, без обращения в облако и без API-ключа для локальных запусков
- Maestro маршрутизирует каждый ход автоматически и выбирает локальный сервер всякий раз, когда запрос подходит, обращаясь к облачной модели лишь тогда, когда задаче это необходимо
- Настраивает локальный рантайм из интерфейса: слои выгрузки на GPU, размер контекста, тип KV-кэша (f16/q8_0/q4_0 и другие), параллельные слоты и разбиение по нескольким GPU
- Оставляет промпты и данные на устройстве при локальных запусках, так что приватное или регулируемое содержимое никогда не покидает машину
- Находится в том же рабочем пространстве, что и ваши облачные BYOK-ключи: чат, агенты, приложения, код и знания берут данные из локального или облачного источника без смены инструмента
Сценарии использования
- Инженер, заботящийся о приватности: запускает локальную GGUF-модель, чтобы промпты с договорами и кодовой базой никогда не покидали рабочую станцию, и позволяет Maestro подниматься до облачного ключа лишь для редкого более сложного запроса
- Одиночный разработчик с ограниченным бюджетом: опирается на локальный инференс для повседневного чата и работы агентов, чтобы держать облачные расходы за токены около нуля, подстраивая выгрузку на GPU и размер контекста под один ноутбук
- Опытный пользователь рабочей станции: разбивает крупную модель между несколькими GPU и повышает число параллельных слотов, чтобы обслуживать сразу несколько агентов, целиком на устройстве
Часто задаваемые вопросы
Нужен ли API-ключ, чтобы запустить модель локально?
Нет. Локальные запуски используют файл модели на вашей машине и встроенный сервер инференса, поэтому ничего не тарифицируется за токены и ключ не требуется. Ключ нужен только тогда, когда Maestro направляет запрос к облачной модели, и этот ключ ваш собственный: osFoundry не перепродаёт доступ и не добавляет наценку.
Как osFoundry выбирает между локальным и облачным?
Маршрутизацией занимается Maestro автоматически. Он предпочитает локальный сервер всякий раз, когда запрос укладывается в возможности вашей машины, и переключается на облачную модель только тогда, когда этого требует задача. Локальный рантайм (слои GPU, размер контекста, тип кэша) настраиваете вы, но маршрутизировать каждое сообщение вручную не нужно.
Какие модели и оборудование поддерживает локальный сервер?
Он загружает модели в формате GGUF из папки на вашей машине и отдаёт их через рантайм в стиле llama.cpp. Вы можете выгружать слои на GPU, подгонять окно контекста и квантизацию KV-кэша под свою память, запускать несколько параллельных слотов запросов и разбивать модель между несколькими GPU. Какие именно модели идут хорошо, зависит от вашего объёма RAM, VRAM и CPU.