Home / Glossario / Quantizzazione
Che cos’è Quantization (quantizzazione)?
La quantization riduce l'impronta di memoria di un LLM memorizzando i pesi in precisione inferiore (4-bit / 5-bit / 6-bit) invece di float a 16-bit completi. osFoundry quantizza i modelli con un clic a Q4_K_M, Q5_K_M, Q6_K o FP16.
Dettagli
Un modello quantizzato Q4 usa ~25% della memoria di un modello FP16 con solo un piccolo calo di qualità sulla maggior parte dei task. Un modello 70B FP16 richiede ~140 GB di VRAM; lo stesso modello a Q4 richiede ~35 GB, sta su una singola A100 80 GB.
Diversi schemi di quantizzazione hanno trade-off differenti. Q4_K_M è il default popolare. I modelli di generazione di codice spesso necessitano di Q5+ per preservare la fedeltà sintattica.
Come osFoundry affronta Quantization (quantizzazione)
Il flusso di installazione di osFoundry Le permette di scegliere la quantizzazione al momento dell'installazione. Scambi quantizzazioni in seguito senza riaddestrare: stesso handle del modello, pesi sottostanti diversi.
Domande frequenti
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Termini correlati
Funzionalità correlate