Accueil / Glossaire / Quantisation
Qu’est-ce que Quantisation ?
La quantisation réduit l’empreinte mémoire d’un LLM en stockant les poids en précision inférieure (4-bit / 5-bit / 6-bit) au lieu de flottants 16-bit complets. osFoundry quantise les modèles en un clic vers Q4_K_M, Q5_K_M, Q6_K ou FP16.
Détails
Un modèle quantisé Q4 utilise ~25 % de la mémoire d’un modèle FP16 avec seulement une petite baisse de qualité sur la plupart des tâches. Un modèle 70B FP16 nécessite ~140 Go de VRAM ; le même modèle en Q4 nécessite ~35 Go — tient sur une seule A100 80 Go.
Différents schémas de quantisation font des compromis différents. Q4_K_M est le défaut populaire. Les modèles de génération de code ont souvent besoin de Q5+ pour préserver la fidélité de la syntaxe.
L’approche d’osFoundry pour Quantisation
Le flux d’installation d’osFoundry vous permet de choisir la quantisation au moment de l’installation. Basculez entre les quantisations plus tard sans ré-entraînement — même handle de modèle, poids sous-jacents différents.
Questions fréquentes
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Termes associés
Fonctionnalités associées