Inicio / Glosario / Cuantización
¿Qué es Cuantización?
La cuantización reduce la huella de memoria de un LLM almacenando pesos con menor precisión (4-bit / 5-bit / 6-bit) en vez de flotantes de 16-bit. osFoundry cuantiza modelos con un clic a Q4_K_M, Q5_K_M, Q6_K o FP16.
Detalles
Un modelo Q4 cuantizado usa ~25 % de la memoria de un modelo FP16 con solo una pequeña caída de calidad en la mayoría de tareas. Un modelo 70B FP16 necesita ~140 GB de VRAM; el mismo modelo en Q4 necesita ~35 GB, cabe en una sola A100 de 80 GB.
Los distintos esquemas de cuantización tienen distintos compromisos. Q4_K_M es la opción por defecto popular. Los modelos de generación de código a menudo necesitan Q5+ para preservar la fidelidad sintáctica.
El enfoque de osFoundry sobre Cuantización
El flujo de instalación de osFoundry les permite elegir la cuantización en el momento de la instalación. Cambien entre cuantizaciones después sin reentrenar: mismo handle de modelo, distintos pesos por debajo.
Preguntas frecuentes
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
Términos relacionados
Funciones relacionadas