Home / Glossary / Quantization
Quantization क्या है?
Quantization full 16-bit floats के बजाय lower precision (4-bit / 5-bit / 6-bit) में weights store करके एक LLM के memory footprint को कम करता है। osFoundry एक click में models को Q4_K_M, Q5_K_M, Q6_K, या FP16 में quantise करता है।
विवरण
एक Q4 quantised model अधिकांश tasks पर केवल एक छोटी quality drop के साथ एक FP16 model की memory का ~25% उपयोग करता है। एक 70B FP16 model को ~140 GB VRAM की आवश्यकता होती है; Q4 पर वही model ~35 GB की आवश्यकता होती है — एक single A100 80 GB पर fits।
विभिन्न quantisation schemes अलग-अलग tradeoffs करते हैं। Q4_K_M popular default है। Code-generation models को अक्सर syntax fidelity preserve करने के लिए Q5+ की आवश्यकता होती है।
osFoundry Quantization को कैसे संभालता है
osFoundry का install flow आपको install time पर quantisation pick करने देता है। बिना retraining के बाद में quantisations के बीच swap करें — वही model handle, अलग backing weights।
सामान्य प्रश्न
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
संबंधित शब्द
संबंधित सुविधाएँ