osFoundry / Platform
Hot-swap LoRA
Cambia gli adattatori LoRA su un modello base in esecuzione in meno di 50ms. Personalità diverse, stessi pesi.
Che cos’è
Hot-swap LoRA ti permette di passare tra personalità di modello affinate in meno di 50 millisecondi senza ricaricare il modello base. Un adattatore LoRA (Low-Rank Adaptation) è un piccolo insieme di delta dei pesi, di solito pochi megabyte, che orienta un modello base molto più grande verso un tono, un compito o un dominio specifico. Poiché l'adattatore è minuscolo e i pesi base sono condivisi, puoi tenere un modello base in memoria e saltare tra decine di adattatori con la stessa rapidità con cui cambi un'impostazione. Persona diverse, stessi pesi.\n\nDentro osFoundry tutto questo gira interamente sul tuo dispositivo. osFoundry è uno spazio di lavoro AI desktop di impostazione local-first, e il suo runtime locale tiene il modello base residente in memoria mentre gli adattatori si agganciano e si sganciano sopra di esso. Caricare da disco un nuovo modello di diversi gigabyte richiede secondi e un riscaldamento completo della GPU; montare un adattatore LoRA su pesi già caricati salta tutto questo, ed è da qui che nasce la cifra sotto i 50 ms. Punti una chat, un agente o un ruolo di pipeline verso un adattatore, e il messaggio successivo passa attraverso quella persona (una voce di assistenza clienti, un revisore di codice, uno stile da sintesi legale) senza smontare e ricostruire il modello. Cambia di nuovo e torni al base o passi a un altro adattatore con la stessa rapidità.\n\nQuesto conta perché trasforma un unico modello base scaricato in un intero scaffale di specialisti a costo quasi nullo. Non paghi, non scarichi e non carichi in GPU un modello separato per ogni persona, e poiché osFoundry è bring-your-own-key e local-first, non ci sono costi per postazione né margine di rivendita: fornisci tu il modello base e gli adattatori, e l'inferenza resta sulla tua macchina. È una scelta pratica per configurazioni multi-agente in cui ogni agente ha bisogno di un proprio comportamento, e per il lavoro sensibile alla privacy in cui i dati che alimentano ogni persona non dovrebbero mai lasciare il dispositivo.
Funzionalità principali
- Scambia adattatori LoRA su un modello base già caricato in meno di 50 ms, senza ricaricare i pesi base di diversi gigabyte
- Tieni un modello base residente in memoria e sovrapponi molti adattatori a basso rango, così cambiare persona costa uno scambio di puntatore, non un avvio a freddo
- Esegui ogni persona sul dispositivo nel runtime locale di osFoundry, così i tuoi prompt, gli adattatori e gli output non lasciano mai la tua macchina
- Assegna un adattatore affinato diverso a ogni agente, chat o ruolo di pipeline e passa dall'uno all'altro a metà sessione
- Porta i tuoi modelli base e i tuoi adattatori, senza costi per postazione né margine di rivendita sull'inferenza
Casi d’uso
- Sviluppatore singolo: tiene caricato un modello base da 7B e passa tra un adattatore per il codice, uno per la scrittura e uno per la sintesi tra le schede, senza aspettare che un modello si ricarichi ogni volta
- Orchestratore multi-agente: assegna un LoRA affinato distinto a ogni agente di una pipeline, così un ricercatore, un critico e un editor girano ciascuno con la propria voce sugli stessi pesi base condivisi
- Team attento alla privacy: esegue persona specifiche di dominio interamente sul dispositivo, così i prompt e gli output sensibili che plasmano ogni persona non lasciano mai la macchina locale
Domande frequenti
Perché scambiare a caldo un adattatore LoRA è più veloce che caricare un modello diverso?
Caricare un modello diverso legge da disco pesi di diversi gigabyte e riscalda la GPU, e questo richiede secondi. Un adattatore LoRA è solo qualche megabyte di delta a basso rango che si agganciano su pesi base già residenti in memoria, quindi lo scambio è una piccola operazione in memoria e non un avvio a freddo: meno di 50 ms nel runtime locale di osFoundry.
Mi serve un modello base separato per ogni persona?
No. È proprio questo il senso della funzione. Un modello base resta caricato, e ogni persona è solo un adattatore diverso sovrapposto agli stessi pesi. Scarichi e conservi il base una volta, poi tieni uno scaffale di piccoli adattatori tra cui passare, invece di archiviare e caricare in GPU un modello completo per ogni persona.
Lo scambio degli adattatori avviene sulla mia macchina o nel cloud?
Sulla tua macchina. osFoundry è uno spazio di lavoro desktop local-first ed esegue i modelli locali tramite il suo runtime sul dispositivo, così il modello base, gli adattatori e i dati che scorrono attraverso ogni persona restano sul tuo dispositivo. È bring-your-own-key, senza costi per postazione né margine sull'inferenza.