Início / Recursos / Rode qualquer modelo / Hot-swap LoRA
Hot-swap de adapters LoRA no momento da inferência no osFoundry
osFoundry faz hot-swap de adapters LoRA em um único modelo base — sem recarga, troca em sub-segundo. Empilhe várias personas, especialistas de domínio ou habilidades fine-tunadas em cima de um único modelo base e roteie por requisição. Corta o custo de servir N variantes especializadas de N deployments de modelo para um.
Quick answer
- Até 16 adapters LoRA ativos por modelo base.
- Troca de adapter em sub-segundo — sem recarga de modelo.
- Pague por um modelo base, roteie para muitas variantes especializadas.
- Adapters treinados dentro do osFoundry são auto-registrados.
Frequently asked questions
Quantos adapters posso fazer hot-swap?
Até 16 adapters ativos por modelo base em um único endpoint.
Isso funciona com adapters que treinei em outro lugar?
Sim — envie .safetensors e o adapter é registrado.
Related features