Che cos’è LoRA?

Abbreviazione: LoRA

LoRA (Low-Rank Adaptation) esegue il fine-tuning solo di un piccolo numero di parametri «adapter» sopra un base model congelato, riducendo drasticamente il costo del training. osFoundry fa fine-tuning di oltre 60 base model open-weight con LoRA in un flusso UI: nessun notebook richiesto.

Dettagli

Invece di aggiornare tutti i parametri del modello durante il fine-tuning (lento, pesante in memoria), LoRA inserisce piccole matrici trainabili nei layer di attention. Il base model resta congelato; vengono addestrati solo i pesi dell'adapter. Risultato: 100-1000× meno storage, 10× meno tempo di training, qualità comparabile sulla maggior parte dei task.

Gli adapter LoRA sono minuscoli (~MB invece di GB), portabili tra deployment e impilabili: può hot-swappare più adapter su un singolo base model.

Come osFoundry affronta LoRA

osFoundry addestra adapter LoRA in minuti-ore, li registra nel Suo catalogo modelli e li hot-swappa sugli endpoint base-model al momento dell'inferenza: molti comportamenti specializzati su una singola GPU condivisa.