Accueil / Fonctionnalités / Entraîner et fine-tuner / Quantisation

Quantisez les modèles pour une inférence bon marché sur osFoundry

osFoundry quantise tout modèle open-weight en Q4_K_M, Q5_K_M, Q6_K ou FP16 en un clic. Un modèle 70B quantisé en Q4 tient sur une seule A100 80 Go ou deux cartes grand public 24 Go — s’exécutant à un coût 5 à 10× inférieur à FP16 avec une perte de qualité minimale pour les charges de chat.

Réponse rapide

Quantisation en un clic : Q4_K_M, Q5_K_M, Q6_K, FP16.
Les modèles quantisés conservent le même handle de routage — remplacement direct.
Réduction de coût 5 à 10× en Q4 pour les tâches de chat typiques.
Exécutez des benchmarks de qualité contre votre propre jeu d’évaluation avant de basculer.

Questions fréquentes

Combien de qualité est perdu en Q4 ?

Pour les modèles de chat sur tâches de chat, ~1 à 3 points de pourcentage sur les benchmarks standards. Les modèles de génération de code perdent plus — essayez Q5_K_M pour le code.

Puis-je revenir en arrière si la qualité chute ?

Oui. Les modèles quantisés sont ajoutés à côté de l’original — ne le remplacent jamais.

Fonctionnalités associées