Главная / Возможности / Обучение и тонкая настройка / Тонкая настройка LoRA
Тонкая настройка Llama, Mistral или Qwen с LoRA на osFoundry
osFoundry тонко настраивает любую базовую модель с открытыми весами с LoRA или QLoRA на ваших данных — никакого ноутбука, никакой командной строки. Выберите базу, укажите набор данных (вашу базу знаний, загрузку или публичный набор данных), задайте ранг LoRA и обучайте. Адаптер регистрируется в вашем каталоге моделей и сразу доступен для маршрутизации из Maestro и Room Apps в момент завершения обучения.
Quick answer
- LoRA + QLoRA на 60+ базовых моделях с открытыми весами.
- Обучайтесь на вашей базе знаний, загрузках JSONL/CSV или 250 тыс. публичных наборов данных.
- Через UI — никакого ноутбука.
- Адаптер маршрутизируется в рабочей области в момент завершения обучения.
Key capabilities
- 60+ поддерживаемых базовых моделей (Llama 3, Mistral, Qwen, Phi, Gemma…).
- Потоки LoRA + QLoRA; ранг 8/16/32/64 выбирается.
- Обучайтесь на базах знаний (автоформат), JSONL/CSV/parquet или 250 тыс. публичных наборов данных.
- Три среды выполнения: локальный GPU, облако osFoundry, ваша собственная инфраструктура.
- Контрольные точки каждые N шагов — возобновляйте прерванную задачу с последней контрольной точки.
- Экспорт адаптера: .safetensors с полной конфигурацией обучения.
How to do it in osFoundry
- Выберите базу + цель LoRA — Выберите базовую модель. Настройте ранг LoRA, скорость обучения, эпохи и целевые модули. Значения по умолчанию работают в большинстве случаев.
- Укажите ваш набор данных — Выберите базу знаний (автоформат пар инструкций), загрузите JSONL или выберите публичный набор данных.
- Запустите обучение — Выберите среду выполнения (local/cloud/BYO). Наблюдайте кривую потерь вживую по мере обучения.
- Горячая замена адаптера — Когда обучение завершится, горячо замените адаптер на развёрнутый эндпоинт базовой модели. Тот же хэндл, новое поведение.
Use cases
- Поддержка клиентов: Настройте Mistral 7B по прошлым тикетам. Агент теперь отвечает в вашем тоне со знанием продукта.
- Юридическая команда: Обучите Llama 3.1 8B на размеченных контрактах. Делайте редлайн новых документов в стиле вашей фирмы on-prem.
- Игровая студия: LoRA для каждого персонажа, горячо заменяемые на одной базовой модели. Один GPU, много отчётливых голосов NPC.
Frequently asked questions
Сколько времени занимает тонкая настройка LoRA?
Модель 7B на 50 тыс. строк: ~30 мин на A100. 70B: ~3 часа. Потребительский M2/M3 Mac: ~2 часа для 7B.
Какой ранг мне использовать?
Начните с ранга 16. Увеличьте до 32 или 64 для более сложных сдвигов домена; уменьшите до 8 для стилистической настройки.
Могу ли я обучить на моей базе знаний?
Да — базы знаний автоформатируются как пары инструкций.
Могу ли я экспортировать адаптер?
Да — скачивание .safetensors с полной конфигурацией обучения. Развёртывается и вне osFoundry.
Поддерживается ли QLoRA?
Да — QLoRA сокращает VRAM, квантуя базу до 4 бит. Выберите QLoRA в конфигурации обучения, если вашему GPU не хватает памяти.
Как мне оценить результат?
Сравните адаптер с базой на вашем eval-наборе через представление side-by-side compare. Продвигайте, когда качество превзойдёт ваш порог.
Pricing
Локально: бесплатно. Облако: за секунду времени GPU. LoRA 7B на A100 стоит примерно $2–3 за запуск; 70B стоит $20–30.
Related features