Inicio / Funciones / Entrenar y afinar / Cuantización

Cuanticen modelos para inferencia barata en osFoundry

osFoundry cuantiza cualquier modelo de pesos abiertos a Q4_K_M, Q5_K_M, Q6_K o FP16 con un solo clic. Un modelo de 70B cuantizado a Q4 cabe en una sola A100 80 GB o en dos tarjetas de consumo de 24 GB, ejecutándose a un coste 5-10 veces menor que FP16 con una pérdida de calidad mínima para cargas de chat.

Respuesta rápida

Cuantización con un clic: Q4_K_M, Q5_K_M, Q6_K, FP16.
Los modelos cuantizados mantienen el mismo handle de enrutamiento: reemplazo drop-in.
Reducción de coste 5-10 veces a Q4 para tareas típicas de chat.
Ejecuten benchmarks de calidad contra su propio set de evaluación antes de cambiar.

Preguntas frecuentes

¿Cuánta calidad se pierde a Q4?

Para modelos de chat en tareas de chat, ~1-3 puntos porcentuales en benchmarks estándar. Los modelos de generación de código pierden más: prueben Q5_K_M para código.

¿Puedo revertir si la calidad cae?

Sí. Los modelos cuantizados se añaden junto al original: nunca lo reemplazan.

Funciones relacionadas