Accueil / Fonctionnalités / Exécuter n’importe quel modèle / Hot-swap LoRA
Hot-swap des adaptateurs LoRA au moment de l’inférence sur osFoundry
osFoundry hot-swap les adaptateurs LoRA sur un seul modèle de base — pas de rechargement, commutation sub-seconde. Empilez plusieurs personas, experts de domaine ou compétences fine-tunées au-dessus d’un seul modèle de base et acheminez par requête. Réduit le coût de servir N variantes spécialisées de N déploiements de modèles à un seul.
Quick answer
- Jusqu’à 16 adaptateurs LoRA actifs par modèle de base.
- Commutation d’adaptateur sub-seconde — pas de rechargement du modèle.
- Payez pour un modèle de base, acheminez vers de nombreuses variantes spécialisées.
- Les adaptateurs entraînés à l’intérieur d’osFoundry sont auto-enregistrés.
Frequently asked questions
Combien d’adaptateurs puis-je hot-swap ?
Jusqu’à 16 adaptateurs actifs par modèle de base sur un seul endpoint.
Cela fonctionne-t-il avec des adaptateurs que j’ai entraînés ailleurs ?
Oui — téléversez .safetensors et l’adaptateur est enregistré.
Related features