Beranda / Glosarium / Quantization
Apa itu Quantization?
Quantization (kuantisasi) mengurangi memory footprint LLM dengan menyimpan bobot dalam presisi lebih rendah (4-bit / 5-bit / 6-bit) alih-alih float 16-bit penuh. osFoundry mengkuantisasi model dalam satu klik ke Q4_K_M, Q5_K_M, Q6_K, atau FP16.
Detail
Model terkuantisasi Q4 menggunakan ~25% memori dari model FP16 dengan hanya penurunan kualitas kecil pada sebagian besar tugas. Model 70B FP16 membutuhkan ~140 GB VRAM; model yang sama pada Q4 membutuhkan ~35 GB — muat pada satu A100 80 GB.
Skema kuantisasi yang berbeda melakukan trade-off berbeda. Q4_K_M adalah default populer. Model generasi kode sering membutuhkan Q5+ untuk mempertahankan fidelitas sintaksis.
Cara osFoundry menangani Quantization
Alur install osFoundry memungkinkan Anda memilih kuantisasi pada waktu install. Beralih antar kuantisasi nanti tanpa retraining — handle model yang sama, bobot pendukung berbeda.
Pertanyaan yang sering diajukan
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Istilah terkait
Fitur terkait