Startseite / Funktionen / Beliebiges Modell betreiben / Hot-Swap LoRA
LoRA-Adapter zur Inferenzzeit per Hot-Swap auf osFoundry wechseln
osFoundry wechselt LoRA-Adapter auf einem einzigen Basismodell per Hot-Swap — kein Reload, Sub-Sekunden-Wechsel. Stapeln Sie mehrere Personas, Domänen-Experten oder fine-getunte Fertigkeiten auf einem Basismodell und routen Sie pro Anfrage. Reduziert die Kosten, N spezialisierte Varianten zu bedienen, von N Modell-Deployments auf eines.
Quick answer
- Bis zu 16 aktive LoRA-Adapter pro Basismodell.
- Sub-Sekunden-Adapter-Wechsel — kein Modell-Reload.
- Zahlen Sie für ein Basismodell, routen Sie zu vielen spezialisierten Varianten.
- In osFoundry trainierte Adapter werden automatisch registriert.
Frequently asked questions
Wie viele Adapter kann ich per Hot-Swap wechseln?
Bis zu 16 aktive Adapter pro Basismodell auf einem einzigen Endpunkt.
Funktioniert das mit Adaptern, die ich anderswo trainiert habe?
Ja — laden Sie .safetensors hoch, und der Adapter wird registriert.
Related features