Home / Funzionalità / Esegua qualsiasi modello / Hot-swap LoRA
Hot-swap di adapter LoRA al momento dell'inferenza su osFoundry
osFoundry fa hot-swap di adapter LoRA su un singolo base model: nessun reload, commutazione sub-secondo. Impili più persona, esperti di dominio o skill fine-tuneate sopra un base model e instradi per richiesta. Riduce il costo di servire N varianti specializzate da N deployment di modelli a uno solo.
Quick answer
- Fino a 16 adapter LoRA attivi per base model.
- Commutazione di adapter sub-secondo: nessun reload del modello.
- Paga per un base model, instradi a molte varianti specializzate.
- Gli adapter addestrati dentro osFoundry sono auto-registrati.
Frequently asked questions
Quanti adapter posso fare hot-swap?
Fino a 16 adapter attivi per base model su un singolo endpoint.
Funziona con adapter che ho addestrato altrove?
Sì: carichi .safetensors e l'adapter viene registrato.
Related features