Home / Funzionalità / Addestramento e fine-tuning
Addestri e faccia fine-tuning di modelli AI su osFoundry
Faccia fine-tuning di Llama, Mistral o Qwen con LoRA sui Suoi dati. Quantizzi per inferenza economica. Hot-swap di adapter al runtime.
osFoundry Le permette di fare fine-tuning di qualsiasi LLM open-weight con LoRA sui Suoi dati, quantizzare il risultato per inferenza economica e hot-swappare adapter al runtime — tutto senza uscire dal workspace. I job di training girano sulla Sua GPU locale, nel cloud osFoundry o contro la Sua infrastruttura. I modelli che addestra sono immediatamente disponibili a Maestro e a ogni Room App nel Suo workspace.
Quick answer
- Fine-tuning LoRA su Llama 3, Mistral, Qwen e oltre 60 altri base model: UI-driven, nessun notebook richiesto.
- Tre percorsi di training: GPU locale, cloud osFoundry o bring-your-own-server.
- Quantizzi gli adapter addestrati fino a Q4/Q5 per inferenza economica.
- Hot-swap di adapter LoRA per richiesta: nessun reload del modello, commutazione sub-secondo.
What it is
La maggior parte delle piattaforme AI La vincola ai modelli hosted o Le consegna un notebook. La pipeline di training di osFoundry è workspace-native: scelga una base, punti a un dataset (la Sua KB, un dataset pubblico o un upload), scelga il rank LoRA e rilasci. L'adapter addestrato viene registrato nel Suo catalogo modelli automaticamente e instradabile da Maestro nel momento in cui finisce.
Key capabilities
- Fine-tuning LoRA + QLoRA su oltre 60 base model open-weight.
- Download dell'adapter: tiri fuori il .safetensors da osFoundry per rilasciarlo altrove.
- Quantizzazione a Q4_K_M, Q5_K_M, Q6_K, FP16: convertito in un clic.
- Hot-swap fino a 16 adapter LoRA attivi su un singolo base model.
- Addestri sulle Sue knowledge base, JSONL/CSV caricati o uno qualsiasi di 250K dataset pubblici.
- Tre percorsi di training per job: GPU locale, cloud osFoundry o la Sua infrastruttura.
How to do it in osFoundry
- Scelga un base model — Sfogli /community/models, filtri su open-weight (Llama, Mistral, Qwen, Phi, ecc.), scelga la dimensione che si adatta alla Sua GPU target.
- Punti a un dataset — Scelga una knowledge base (auto-formattata come coppie istruzione), carichi un JSONL/CSV o scelga tra 250K dataset pubblici indicizzati nel catalogo.
- Scelga la configurazione di training — Rank LoRA (8/16/32/64), learning rate, epoche, target module. Default sensati forniti; tuni da lì.
- Scelga dove addestrare — GPU locale (gratis), cloud osFoundry (prezzo al secondo di GPU) o BYO infrastructure (push del job al Suo cluster).
- Rilasci l'adapter — Quando il training finisce, l'adapter viene registrato nel Suo catalogo modelli automaticamente. Hot-swap su un endpoint base-model e inizi a instradare richieste in pochi minuti.
How osFoundry compares
| Capability | osFoundry | Most other tools |
|---|
| UI di training | Workspace-native: nessun notebook, nessuna command line. | Notebook o CLI richiesti. |
| Export dell'adapter | Download .safetensors con un clic + configurazione di training. | Bloccato al fornitore o export manuale. |
| Dove gira | GPU locale, il nostro cloud o la Sua infrastruttura. | Singola sede, prezzo fisso. |
| Routing post-training | Adapter immediatamente instradabile da Maestro e Room App. | Cablaggio manuale nel codice della Sua app. |
Use cases
- Team customer-support: Fine-tuning di Mistral 7B su 18 mesi di trascritti di supporto. L'agente risponde con il Suo tono, fa riferimento ai Suoi prodotti e resta on-brand.
- Legal ops: Addestri Llama 3.1 8B su un corpus di contratti etichettati per fare redline su nuovi contratti nello stile del Suo studio. Resta on-prem; l'adapter non lascia mai il workspace.
- Game studio: LoRA-tuning di Qwen 14B sulla Sua IP bible per il dialogo NPC in-game. Hot-swap di un LoRA diverso per personaggio per mantenere distinte le voci su un singolo base model condiviso.
Frequently asked questions
Quanto dura un fine-tuning LoRA su osFoundry?
Un modello 7B su un dataset di 50K righe impiega ~30 minuti su un singolo A100. Un modello 70B impiega ~3 ore. I Mac M2/M3 locali gestiscono 7B in ~2 ore.
Posso esportare l'adapter LoRA da osFoundry?
Sì: ogni adapter addestrato è scaricabile come .safetensors e include la configurazione di training. Nessun lock-in.
osFoundry supporta il fine-tuning completo, non solo LoRA?
LoRA + QLoRA sono i percorsi raccomandati oggi. Il fine-tuning completo di modelli >7B è in roadmap; per ora, BYO infrastructure se Le serve.
Su quali dataset posso addestrare?
Le Sue knowledge base (auto-formattate come coppie istruzione), JSONL/CSV/parquet caricati o 250K dataset pubblici indicizzati da HuggingFace.
Quanto costa il training?
Il training locale è gratuito (il Suo hardware). Il training cloud è fatturato al secondo di tempo GPU agli stessi tassi degli endpoint di inferenza. Un LoRA 7B su A100 costa circa 2-3 $ per run di training; 70B costa 20-30 $.
Posso riprendere un job di training interrotto?
Sì: i checkpoint sono salvati ogni N step (configurabili). La ripresa riprende dall'ultimo checkpoint, non da zero.
Pricing
Training locale: gratuito (il Suo hardware). Training cloud: fatturazione GPU al secondo agli stessi tassi degli endpoint di inferenza (A10 / A100 / H100). Lo storage degli adapter è metrato come file storage di workspace.
Related features