Home / Features / Train and fine-tune / Quantisation
osFoundry पर cheap inference के लिए models को Quantise करें
osFoundry एक click में किसी भी open-weight model को Q4_K_M, Q5_K_M, Q6_K, या FP16 तक quantises करता है। Q4 तक quantised एक 70B model एक single A100 80 GB या दो consumer 24 GB cards पर fits — chat workloads के लिए minimal quality loss के साथ FP16 की तुलना में 5–10× lower cost पर चलता है।
संक्षिप्त उत्तर
- One-click quantisation: Q4_K_M, Q5_K_M, Q6_K, FP16।
- Quantised models वही routing handle रखते हैं — drop-in replacement।
- Typical chat tasks के लिए Q4 पर 5–10× cost reduction।
- Swap करने से पहले अपने eval set पर quality benchmarks Run करें।
सामान्य प्रश्न
Q4 पर कितनी quality खो जाती है?
Chat tasks पर chat models के लिए, standard benchmarks पर ~1–3 percentage points। Code-generation models अधिक खोते हैं — code के लिए Q5_K_M try करें।
अगर quality drops हो तो क्या मैं revert कर सकता हूँ?
हाँ। Quantised models original के साथ-साथ जोड़े जाते हैं — कभी replace नहीं करते।
संबंधित सुविधाएँ