Startseite / Glossar / Quantisierung
Was ist Quantization?
Quantisierung reduziert den Speicherbedarf eines LLM, indem Gewichte in niedrigerer Präzision gespeichert werden (4-Bit / 5-Bit / 6-Bit) statt in vollen 16-Bit-Floats. osFoundry quantisiert Modelle per Klick auf Q4_K_M, Q5_K_M, Q6_K oder FP16.
Details
Ein Q4-quantisiertes Modell nutzt ~25 % des Speichers eines FP16-Modells mit nur geringem Qualitätsverlust bei den meisten Aufgaben. Ein 70B-FP16-Modell benötigt ~140 GB VRAM; dasselbe Modell in Q4 benötigt ~35 GB — passt auf eine einzelne A100 80 GB.
Verschiedene Quantisierungsschemata gehen unterschiedliche Kompromisse ein. Q4_K_M ist die beliebte Voreinstellung. Codegenerierungsmodelle benötigen oft Q5+, um die Syntaxtreue zu bewahren.
Wie osFoundry Quantization handhabt
Der Installations-Flow von osFoundry lässt Sie die Quantisierung zum Installationszeitpunkt wählen. Wechseln Sie später zwischen Quantisierungen ohne neu zu trainieren — gleicher Modell-Handle, andere zugrundeliegende Gewichte.
Häufig gestellte Fragen
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Verwandte Begriffe
Verwandte Funktionen