Главная / Возможности / Запуск любой модели

Запускайте любую ИИ-модель с osFoundry — локально, в облаке или self-hosted

BYOK для любого облачного API, запуск открытых весов на вашем ноутбуке или разворачивание выделенного GPU-эндпоинта — всё из одной рабочей области.

osFoundry — это гибридная платформа оркестрации ИИ, которая запускает любую ИИ-модель из единой рабочей области: модели с открытыми весами Llama, Qwen или Mistral на вашем ноутбуке; Claude, GPT или Gemini через ваши собственные API-ключи; и выделенные GPU-эндпоинты в нашем облаке для зарезервированной мощности. Переключайте бэкенды посреди беседы, никогда не привязывайтесь к одному провайдеру и платите только за секунды, в которые ваша модель действительно работает.

Кратко

Запускайте модели с открытыми весами локально с помощью среды выполнения инференса osFoundry на устройстве — никакой стоимости токенов, никакие данные не покидают вашу машину.
Используйте свои API-ключи (BYOK) для Anthropic, OpenAI, Google, Mistral, Together и любого OpenAI-совместимого эндпоинта.
Разворачивайте выделенные GPU-эндпоинты в облаке osFoundry для зарезервированной пропускной способности на выбранной модели с открытыми весами.
Маршрутизируйте запросы между всеми тремя режимами из одного чата — переключайтесь local ↔ cloud ↔ self-host, не покидая беседы.
Никакой наценки на токены — счёт идёт напрямую на ваш аккаунт провайдера.

Что это

Большинство ИИ-инструментов навязывают единственный бэкенд: хостинговый чат-продукт, единственный API модели или self-host, который вы поддерживаете в одиночку. osFoundry рассматривает локальный инференс, облачные API и self-hosted эндпоинты как три взаимозаменяемых бэкенда за одним чат-интерфейсом, одним слоем конфигурации и одной системой тарификации. Один и тот же промпт может попасть на локальную модель 8B для быстрой сортировки с низкой задержкой, на API Claude Sonnet для сложных рассуждений и на self-hosted Llama 70B для конфиденциальных данных — всё в одной беседе.

Ключевые возможности

Локальный инференс с квантованными моделями с открытыми весами (Q4–FP16) на Apple Silicon и NVIDIA GPU.
BYOK для любого провайдера с OpenAI-совместимым API — ключи живут в вашей зашифрованной связке ключей.
Распределение моделей для каждого запроса на основе настраиваемых пользователем правил маршрутизации в osStudio.
Горячая замена адаптеров LoRA во время инференса без перезапуска модели.
Просмотр парка серверов инференса — объедините мощности локальных машин, облачных эндпоинтов и self-hosted GPU.
Резервные цепочки: сначала пробуйте локально, переключайтесь на облако, если модель не загружена.

Как сделать это в osFoundry

Выберите модель — Просмотрите каталог по адресам /community/models и /community/api-models — 76 000+ открытых весов и 364 хостинговых API-модели с перекрёстными ссылками между моделями двойной природы (например, Llama 3.1 70B доступна и так и так).
Подключите её — Для BYOK: вставьте ключ провайдера в диалог ключей и назначьте модель на роль Maestro. Для локальной: нажмите Install на странице модели. Для self-host: разверните GPU-эндпоинт со вкладки Servers.
Используйте её — Общайтесь с ней напрямую, вызывайте invokeAI из Room App или обращайтесь к ней как к HTTP-эндпоинту из своих собственных сервисов — та же модель, та же маршрутизация, три интерфейса.

Сравнение osFoundry

Возможность	osFoundry	Большинство других инструментов
Бэкенды	Локально + облако + self-hosted, переключаются для каждого запроса.	Единственный бэкенд, привязка к вендору.
Наценка на токены	Нет — прямая цена провайдера.	Наценка 20–100% на хостинговые токены.
Режим приватности	Режим только локально — никакой трафик никогда не покидает устройство.	Всегда привязка к облаку.
Количество моделей	76 тыс. открытых + 364 API + ваши self-hosted веса.	Горстка курируемых моделей.

Сценарии использования

Соло-разработчик: Запускайте Llama 3.1 8B локально для повседневного чата с кодом. Переключайтесь на Claude Sonnet для сложных рефакторингов. Тот же поток чата.
Команда с приоритетом приватности: Принудительно направляйте все конфиденциальные промпты на локальные модели; разрешите использовать облачные API для промптов с публичной информацией. Правила маршрутизации обеспечивают политику.
Стартап с большим объёмом: Self-host Mixtral 8x22B на зарезервированном A100 для 80% трафика; всплеск к GPT-4o для тяжёлых 20%.

Парк серверов инференса

Объедините мощности локальных машин, BYOK-эндпоинтов и self-hosted GPU в единый адресуемый пул. Maestro маршрутизирует каждый запрос на основе доступности и настроенных приоритетов.

Часто задаваемые вопросы

Можно ли использовать osFoundry без покупки кредитов?

Да. BYOK и локальный инференс оба работают без покупки кредитов osFoundry — вы платите своему провайдеру за облачное использование, а локальный инференс бесплатен.

Делает ли osFoundry наценку на облачные API-токены?

Нет. BYOK передаёт ваш трафик напрямую на ваш аккаунт провайдера. Мы взимаем плату только за наши собственные облачные сервисы (GPU-эндпоинты, хостинг приложений, хранилище).

Для каких провайдеров я могу использовать BYOK?

Anthropic, OpenAI, Google (Vertex + AI Studio), Mistral, Together, Groq, DeepSeek, Cohere и любой OpenAI-совместимый эндпоинт. Новые провайдеры добавляются через библиотеку коннекторов.

Какое оборудование нужно для запуска моделей с открытыми весами локально?

Потребительский GPU с 16 ГБ VRAM хорошо запускает модели 7–13B при Q4. 24 ГБ справляются с моделями 30B. Модели 70B+ требуют A100/H100 80 ГБ или компромиссов с квантованием.

Можно ли переключать модели посреди беседы?

Да. Каждый ход может использовать другую модель. Правила маршрутизации Maestro в osStudio позволяют переключаться автоматически на основе содержания промпта.

Чем self-hosted эндпоинт отличается от локального инференса?

Локальный инференс работает на вашей собственной машине. Self-hosted эндпоинт работает на выделенном GPU, который вы предоставляете в облаке osFoundry — зарезервированная мощность, без ограничений скорости, доступ через вашу частную сеть.

Поддерживает ли osFoundry также модели изображений, аудио и видео?

Да. Каталог включает 76 тыс. моделей с открытыми весами для чата, изображений, аудио, видео и эмбеддингов. BYOK работает для хостинговых провайдеров изображений/аудио (DALL·E, Midjourney через Replicate, ElevenLabs и т. д.).

Можно ли запустить osFoundry полностью офлайн?

Да — установите десктопное приложение, скачайте локальную модель и отключите облачные маршруты. Режим local-first — это настройка рабочей области первого класса.

Цены

Локальный инференс: бесплатно (ваше оборудование). BYOK: цены вашего провайдера, без наценки. Хостинговые GPU-эндпоинты osFoundry: за секунду времени GPU, текущие тарифы см. на странице цен.