Inicio / Funciones / Ejecutar cualquier modelo / Hot-swap LoRA
Hot-swap de adaptadores LoRA en tiempo de inferencia en osFoundry
osFoundry hace hot-swap de adaptadores LoRA sobre un único modelo base: sin recarga, cambio en menos de un segundo. Apilen varias personalidades, expertos de dominio o habilidades afinadas sobre un mismo modelo base y enruten por solicitud. Reduce el coste de servir N variantes especializadas, pasando de N despliegues a uno solo.
Quick answer
- Hasta 16 adaptadores LoRA activos por modelo base.
- Cambio de adaptador en menos de un segundo: sin recarga del modelo.
- Paguen por un modelo base y enruten a muchas variantes especializadas.
- Los adaptadores entrenados dentro de osFoundry se autorregistran.
Frequently asked questions
¿Cuántos adaptadores puedo hot-swap?
Hasta 16 adaptadores activos por modelo base en un único endpoint.
¿Funciona con adaptadores que entrené en otro lugar?
Sí: suban .safetensors y el adaptador queda registrado.
Related features