Home / Funzionalità / Addestramento e fine-tuning / Quantizzazione

Quantizzi modelli per inferenza economica su osFoundry

osFoundry quantizza qualsiasi modello open-weight a Q4_K_M, Q5_K_M, Q6_K o FP16 con un clic. Un modello 70B quantizzato a Q4 sta su un singolo A100 80 GB o due schede consumer da 24 GB: gira a costo 5-10× inferiore rispetto a FP16 con perdita di qualità minima per workload di chat.

Risposta rapida

Quantizzazione con un clic: Q4_K_M, Q5_K_M, Q6_K, FP16.
I modelli quantizzati mantengono lo stesso handle di routing: sostituzione drop-in.
Riduzione di costo 5-10× a Q4 per task di chat tipici.
Esegua benchmark di qualità contro il Suo eval set prima di scambiare.

Domande frequenti

Quanta qualità si perde a Q4?

Per modelli chat su task chat, ~1-3 punti percentuali sui benchmark standard. I modelli di generazione codice perdono di più: provi Q5_K_M per il codice.

Posso tornare indietro se la qualità cala?

Sì. I modelli quantizzati vengono aggiunti accanto all'originale: non lo sostituiscono mai.

Funzionalità correlate