Главная / Возможности / Обучение и тонкая настройка
Обучайте и тонко настраивайте ИИ-модели на osFoundry
Тонко настраивайте Llama, Mistral или Qwen с LoRA на ваших данных. Квантуйте для дешёвого инференса. Горячая замена адаптеров во время выполнения.
osFoundry позволяет тонко настраивать любую LLM с открытыми весами с помощью LoRA на ваших данных, квантовать результат для дешёвого инференса и горячо менять адаптеры во время выполнения — всё это, не покидая рабочей области. Задачи обучения работают на вашем локальном GPU, в облаке osFoundry или на вашей собственной инфраструктуре. Обученные вами модели сразу доступны Maestro и каждому Room App в вашей рабочей области.
Quick answer
- Тонкая настройка (LoRA fine-tuning) на Llama 3, Mistral, Qwen и более 60 других базовых моделях — через UI, без ноутбука.
- Три пути обучения: локальный GPU, облако osFoundry или собственный сервер.
- Квантование обученных адаптеров до Q4/Q5 для дешёвого инференса.
- Горячая замена адаптеров LoRA для каждого запроса — без перезагрузки модели, переключение менее чем за секунду.
What it is
Большинство ИИ-платформ либо привязывают вас к хостинговым моделям, либо вручают ноутбук. Конвейер обучения osFoundry — нативный для рабочей области: выберите базу, укажите набор данных (вашу базу знаний, публичный набор данных или загрузку), выберите ранг LoRA и отправляйте. Обученный адаптер автоматически регистрируется в вашем каталоге моделей и доступен для маршрутизации из Maestro в момент завершения.
Key capabilities
- LoRA + QLoRA тонкая настройка (fine-tuning) на 60+ базовых моделях с открытыми весами.
- Скачивание адаптера — выгружайте .safetensors из osFoundry для развёртывания в другом месте.
- Квантование до Q4_K_M, Q5_K_M, Q6_K, FP16 — конвертация в один клик.
- Горячая замена до 16 активных адаптеров LoRA на одной базовой модели.
- Обучайтесь на ваших базах знаний, загруженных JSONL/CSV или любом из 250 тыс. публичных наборов данных.
- Три пути обучения для каждой задачи: локальный GPU, облако osFoundry или ваша собственная инфраструктура.
How to do it in osFoundry
- Выберите базовую модель — Просмотрите /community/models, отфильтруйте по открытым весам (Llama, Mistral, Qwen, Phi и т. д.), выберите размер, подходящий для вашего целевого GPU.
- Укажите набор данных — Выберите базу знаний (автоформатируется как пары инструкций), загрузите JSONL/CSV или выберите из 250 тыс. публичных наборов данных, проиндексированных в каталоге.
- Выберите конфигурацию обучения — Ранг LoRA (8/16/32/64), скорость обучения, эпохи, целевые модули. Предоставлены разумные значения по умолчанию; настраивайте отсюда.
- Выберите, где обучать — Локальный GPU (бесплатно), облако osFoundry (тарификация GPU за секунду) или собственная инфраструктура (отправьте задачу в свой кластер).
- Запустите адаптер — Когда обучение завершится, адаптер автоматически регистрируется в вашем каталоге моделей. Горячая замена на эндпоинт базовой модели и начало маршрутизации запросов за считанные минуты.
How osFoundry compares
| Capability | osFoundry | Most other tools |
|---|
| UI обучения | Нативный для рабочей области — без ноутбука, без командной строки. | Требуется ноутбук или CLI. |
| Экспорт адаптера | Скачивание .safetensors в один клик с конфигурацией обучения. | Привязка к вендору или ручной экспорт. |
| Где запускается | Локальный GPU, наше облако или ваша собственная инфраструктура. | Единственная площадка, фиксированные цены. |
| Маршрутизация после обучения | Адаптер сразу маршрутизируется из Maestro и Room Apps. | Ручная разводка в коде вашего приложения. |
Use cases
- Команда поддержки клиентов: Тонко настройте Mistral 7B на 18 месяцах транскриптов поддержки. Агент отвечает в вашем тоне, ссылается на ваши продукты и остаётся в рамках бренда.
- Юридический отдел: Обучите Llama 3.1 8B на размеченном корпусе контрактов для редлайна новых контрактов в стиле вашей фирмы. Остаётся on-prem; адаптер никогда не покидает рабочую область.
- Игровая студия: Настройте LoRA на Qwen 14B по своей IP-библии для диалогов NPC в игре. Горячая замена разных LoRA на каждого персонажа, чтобы сохранить разные голоса на одной общей базовой модели.
Frequently asked questions
Сколько времени занимает тонкая настройка LoRA на osFoundry?
Модель 7B на наборе данных в 50 тыс. строк занимает ~30 минут на одном A100. Модель 70B занимает ~3 часа. Локальные M2/M3 Mac справляются с 7B за ~2 часа.
Можно ли экспортировать адаптер LoRA из osFoundry?
Да — каждый обученный адаптер скачивается как .safetensors и включает конфигурацию обучения. Никакой привязки.
Поддерживает ли osFoundry полную тонкую настройку (full fine-tuning), а не только LoRA?
LoRA + QLoRA — рекомендуемые пути сегодня. Полная тонкая настройка моделей >7B — в дорожной карте; пока используйте собственную инфраструктуру, если нужно.
На каких наборах данных можно обучать?
Ваши базы знаний (автоформатируются как пары инструкций), загруженные JSONL/CSV/parquet или 250 тыс. публичных наборов данных, проиндексированных с HuggingFace.
Сколько стоит обучение?
Локальное обучение бесплатно (ваше оборудование). Облачное обучение тарифицируется за секунду времени GPU по тем же ставкам, что и эндпоинты инференса. Тонкая настройка LoRA для 7B на A100 — примерно $2–3 за запуск; 70B — $20–30.
Можно ли возобновить прерванную задачу обучения?
Да — контрольные точки сохраняются каждые N шагов (настраивается). Возобновление продолжается с последней контрольной точки, а не с нуля.
Pricing
Локальное обучение: бесплатно (ваше оборудование). Облачное обучение: тарификация GPU за секунду по тем же ставкам, что и эндпоинты инференса (A10 / A100 / H100). Хранилище адаптеров тарифицируется как файловое хранилище рабочей области.
Related features