osFoundry / Platform
Hot-Swap LoRA
Tauschen Sie LoRA-Adapter auf einem laufenden Basismodell in unter 50 ms aus. Verschiedene Personas, gleiche Gewichte.
Was es ist
Mit Hot-swap LoRA wechselst du in unter 50 Millisekunden zwischen feinabgestimmten Modellpersönlichkeiten, ohne das Basismodell neu zu laden. Ein LoRA-Adapter (Low-Rank Adaptation) ist ein kleiner Satz von Gewichts-Deltas, meist nur wenige Megabyte groß, der ein viel größeres Basismodell auf einen bestimmten Ton, eine Aufgabe oder eine Domäne ausrichtet. Weil der Adapter winzig ist und die Basisgewichte geteilt werden, kannst du ein Basismodell im Speicher halten und zwischen Dutzenden Adaptern so schnell umschalten wie beim Ändern einer Einstellung. Andere Personas, dieselben Gewichte.\n\nInnerhalb von osFoundry läuft das vollständig auf deinem Gerät. osFoundry ist ein local-first Desktop-KI-Workspace, und seine lokale Runtime hält das Basismodell resident im Speicher, während Adapter darauf an- und abgekoppelt werden. Ein frisches Modell von mehreren Gigabyte von der Platte zu laden dauert Sekunden und braucht ein vollständiges GPU-Warmup; einen LoRA-Adapter auf bereits geladene Gewichte zu setzen überspringt all das, und daher stammt der Wert von unter 50 ms. Du richtest einen Chat, einen Agenten oder eine Pipeline-Rolle auf einen Adapter aus, und die nächste Nachricht läuft durch diese Persona, etwa eine Kundensupport-Stimme, einen Code-Reviewer oder einen Stil für juristische Zusammenfassungen, ohne das Modell abzubauen und neu aufzubauen. Wechsle erneut, und du bist genauso schnell wieder auf der Basis oder auf einem anderen Adapter.\n\nDas ist deshalb wichtig, weil es aus einem einzigen heruntergeladenen Basismodell fast kostenlos ein ganzes Regal an Spezialisten macht. Du bezahlst, lädst und legst kein separates Modell pro Persona in die GPU, und weil osFoundry bring-your-own-key und local-first ist, gibt es keine Gebühren pro Platz und keinen Wiederverkaufsaufschlag: Du lieferst das Basismodell und die Adapter, und die Inferenz bleibt auf deiner Maschine. Es passt praktisch zu Multi-Agenten-Setups, in denen jeder Agent sein eigenes Verhalten braucht, und zu datensensibler Arbeit, bei der die Daten hinter jeder Persona das Gerät nie verlassen sollen.
Wichtige Funktionen
- Tausche LoRA-Adapter auf einem bereits geladenen Basismodell in unter 50 ms, ohne die mehrere Gigabyte großen Basisgewichte neu zu laden
- Halte ein Basismodell resident im Speicher und lege viele Low-Rank-Adapter darüber, sodass ein Persona-Wechsel ein Zeiger-Tausch ist und kein Kaltstart
- Führe jede Persona auf dem Gerät in der lokalen Runtime von osFoundry aus, sodass deine Prompts, Adapter und Ausgaben deine Maschine nie verlassen
- Weise jedem Agenten, Chat oder jeder Pipeline-Rolle einen eigenen feinabgestimmten Adapter zu und wechsle mitten in der Sitzung zwischen ihnen
- Bring deine eigenen Basismodelle und deine eigenen Adapter mit, ohne Gebühren pro Platz und ohne Wiederverkaufsaufschlag auf die Inferenz
Anwendungsfälle
- Einzelentwickler: hält ein 7B-Basismodell geladen und wechselt über Tabs hinweg zwischen einem Coding-Adapter, einem Schreib-Adapter und einem Zusammenfassungs-Adapter, ohne jedes Mal auf das Neuladen eines Modells zu warten
- Multi-Agenten-Orchestrator: weist jedem Agenten einer Pipeline ein eigenes feinabgestimmtes LoRA zu, sodass ein Rechercheur, ein Kritiker und ein Editor jeweils in ihrer eigenen Stimme auf denselben geteilten Basisgewichten laufen
- Datenschutzbewusstes Team: führt domänenspezifische Personas vollständig auf dem Gerät aus, sodass die sensiblen Prompts und Ausgaben, die jede Persona formen, die lokale Maschine nie verlassen
Häufig gestellte Fragen
Warum ist das Hot-Swapping eines LoRA-Adapters schneller als das Laden eines anderen Modells?
Ein anderes Modell zu laden liest mehrere Gigabyte Gewichte von der Platte und wärmt die GPU auf, was Sekunden dauert. Ein LoRA-Adapter besteht nur aus wenigen Megabyte Low-Rank-Deltas, die auf bereits im Speicher residente Basisgewichte aufgesetzt werden. Der Tausch ist damit eine kleine Operation im Speicher und kein Kaltstart, in der lokalen Runtime von osFoundry unter 50 ms.
Brauche ich für jede Persona ein eigenes Basismodell?
Nein. Genau das ist der Sinn der Funktion. Ein Basismodell bleibt geladen, und jede Persona ist nur ein anderer Adapter über denselben Gewichten. Du lädst die Basis einmal herunter und behältst sie, hältst dann ein Regal kleiner Adapter bereit und wechselst zwischen ihnen, statt pro Persona ein vollständiges Modell zu speichern und in die GPU zu laden.
Läuft der Adapter-Tausch auf meiner Maschine oder in der Cloud?
Auf deiner Maschine. osFoundry ist ein local-first Desktop-Workspace und führt lokale Modelle über seine Runtime auf dem Gerät aus, sodass das Basismodell, die Adapter und die Daten, die durch jede Persona fließen, auf deinem Gerät bleiben. Es ist bring-your-own-key, ohne Gebühren pro Platz und ohne Aufschlag auf die Inferenz.