Главная / Возможности / Запуск любой модели / Горячая замена LoRA
Горячая замена адаптеров LoRA во время инференса на osFoundry
osFoundry горячо меняет адаптеры LoRA на одной базовой модели — без перезагрузки, переключение менее чем за секунду. Накладывайте несколько персонажей, доменных экспертов или тонко настроенных навыков поверх одной базовой модели и маршрутизируйте для каждого запроса. Сокращает стоимость обслуживания N специализированных вариантов с N развёртываний модели до одного.
Quick answer
- До 16 активных адаптеров LoRA на базовую модель.
- Переключение адаптера менее чем за секунду — без перезагрузки модели.
- Платите за одну базовую модель, маршрутизируйте к многим специализированным вариантам.
- Адаптеры, обученные внутри osFoundry, регистрируются автоматически.
Frequently asked questions
Сколько адаптеров я могу горячо менять?
До 16 активных адаптеров на базовую модель на одном эндпоинте.
Работает ли это с адаптерами, обученными в другом месте?
Да — загрузите .safetensors, и адаптер регистрируется.
Related features