Início / Glossário / Quantização
O que é Quantização?
A quantização reduz o consumo de memória de um LLM armazenando pesos em precisão menor (4-bit / 5-bit / 6-bit) em vez de floats completos de 16-bit. O osFoundry quantiza modelos em um clique para Q4_K_M, Q5_K_M, Q6_K ou FP16.
Detalhes
Um modelo quantizado Q4 usa ~25% da memória de um modelo FP16 com apenas uma pequena queda de qualidade na maioria das tarefas. Um modelo 70B FP16 precisa de ~140 GB de VRAM; o mesmo modelo em Q4 precisa de ~35 GB — cabe em uma única A100 80 GB.
Diferentes esquemas de quantização fazem trade-offs distintos. Q4_K_M é o padrão popular. Modelos de geração de código frequentemente precisam de Q5+ para preservar a fidelidade sintática.
Como a osFoundry aborda Quantização
O fluxo de instalação do osFoundry permite escolher a quantização no momento da instalação. Troque entre quantizações depois sem retreinar — mesmo handle de modelo, pesos diferentes por trás.
Perguntas frequentes
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Termos relacionados
Recursos relacionados