Home / Funzionalità / Addestramento e fine-tuning / Fine-tuning LoRA

Fine-tuning di Llama, Mistral o Qwen con LoRA su osFoundry

osFoundry fa fine-tuning di qualsiasi base model open-weight con LoRA o QLoRA sui Suoi dati: nessun notebook, nessuna command line. Scelga una base, punti a un dataset (la Sua KB, un upload o un dataset pubblico), imposti il rank LoRA e addestri. L'adapter viene registrato nel Suo catalogo modelli e immediatamente instradabile da Maestro e Room App nel momento in cui il training finisce.

Quick answer

LoRA + QLoRA su oltre 60 base model open-weight.
Addestri sulla Sua KB, upload JSONL/CSV o 250K dataset pubblici.
UI-driven: nessun notebook.
L'adapter è instradabile nel workspace nel momento in cui il training finisce.

Key capabilities

Oltre 60 base model supportati (Llama 3, Mistral, Qwen, Phi, Gemma…).
Flussi LoRA + QLoRA; rank 8/16/32/64 selezionabile.
Addestri su KB (auto-formattate), JSONL/CSV/parquet o 250K dataset pubblici.
Tre runtime: GPU locale, cloud osFoundry, la Sua infrastruttura.
Checkpoint ogni N step: riprenda un job interrotto dall'ultimo checkpoint.
Export dell'adapter: .safetensors con configurazione di training completa.

How to do it in osFoundry

Scelga una base + target LoRA — Scelga il base model. Configuri rank LoRA, learning rate, epoche e target module. I default funzionano per la maggior parte dei casi.
Punti al Suo dataset — Scelga una KB (formato coppie istruzione auto), carichi JSONL o scelga un dataset pubblico.
Esegua il training — Scelga il runtime (locale/cloud/BYO). Guardi la curva di loss live mentre addestra.
Hot-swap dell'adapter — Quando il training finisce, faccia hot-swap dell'adapter su un endpoint base-model rilasciato. Stesso handle, nuovo comportamento.

Use cases

Customer support: LoRA-tuning di Mistral 7B su ticket passati. L'agente ora risponde con il Suo tono e conoscenza del prodotto.
Team legale: Addestri Llama 3.1 8B su contratti etichettati. Faccia redline su nuovi documenti nello stile del Suo studio on-prem.
Game studio: LoRA per personaggio hot-swappate su un base model. Una GPU, molte voci NPC distinte.

Frequently asked questions

Quanto dura un fine-tuning LoRA?

Modello 7B su 50K righe: ~30 min su A100. 70B: ~3 ore. Mac M2/M3 consumer: ~2 ore per 7B.

Quale rank dovrei usare?

Inizi con rank 16. Aumenti a 32 o 64 per shift di dominio più difficili; diminuisca a 8 per tuning stilistico.

Posso addestrare sulla mia knowledge base?

Sì: le KB sono auto-formattate come coppie istruzione.

Posso esportare l'adapter?

Sì: download .safetensors con configurazione di training completa. Rilasciabile anche fuori da osFoundry.

QLoRA è supportato?

Sì: QLoRA riduce la VRAM quantizzando la base a 4-bit. Scelga QLoRA nella configurazione di training se la Sua GPU è a corto di memoria.

Come valuto il risultato?

Confronti l'adapter con la base sul Suo eval set con la vista di confronto side-by-side. Promuova quando la qualità supera la Sua soglia.

Pricing

Locale: gratis. Cloud: tempo GPU al secondo. Un LoRA 7B su A100 costa circa $2-3 per run; 70B costa $20-30.