Главная / Глоссарий / Квантование
Что такое Квантование (Quantization)?
Квантование снижает потребление памяти LLM, сохраняя веса в меньшей точности (4-бит / 5-бит / 6-бит) вместо полных 16-битных float-ов. osFoundry квантует модели в один клик до Q4_K_M, Q5_K_M, Q6_K или FP16.
Подробнее
Модель, квантованная Q4, использует ~25% памяти FP16-модели с небольшим падением качества на большинстве задач. Модель 70B FP16 требует ~140 ГБ VRAM; та же модель в Q4 требует ~35 ГБ — помещается на одном A100 80 ГБ.
Разные схемы квантования имеют разные компромиссы. Q4_K_M — популярный выбор по умолчанию. Модели генерации кода часто требуют Q5+ для сохранения синтаксической точности.
Как osFoundry работает с Квантование (Quantization)
Процесс установки osFoundry позволяет выбрать квантование во время установки. Меняйте квантование позже без переобучения — тот же дескриптор модели, разные опорные веса.
Часто задаваемые вопросы
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Связанные термины
Связанные возможности