Início / Recursos / Treine e faça fine-tuning / Quantização

Quantize modelos para inferência barata no osFoundry

osFoundry quantiza qualquer modelo de pesos abertos para Q4_K_M, Q5_K_M, Q6_K ou FP16 em um clique. Um modelo 70B quantizado para Q4 cabe em uma única A100 80 GB ou duas placas de consumidor de 24 GB — rodando a um custo 5–10× menor que FP16 com perda mínima de qualidade para workloads de chat.

Resposta rápida

Quantização em um clique: Q4_K_M, Q5_K_M, Q6_K, FP16.
Modelos quantizados mantêm o mesmo handle de roteamento — substituição direta.
Redução de custo de 5–10× em Q4 para tarefas típicas de chat.
Rode benchmarks de qualidade contra seu próprio conjunto de eval antes de trocar.

Perguntas frequentes

Quanta qualidade se perde em Q4?

Para modelos de chat em tarefas de chat, ~1–3 pontos percentuais em benchmarks padrão. Modelos de geração de código perdem mais — experimente Q5_K_M para código.

Posso reverter se a qualidade cair?

Sim. Modelos quantizados são adicionados ao lado do original — nunca substituem.

Recursos relacionados