osFoundry / Platform
Quantification de modèles
Quantifiez n'importe quel modèle jusqu'en q4 / q3 en quelques clics. Faites tourner un modèle 70B sur un GPU d'ordinateur portable.
Présentation
La quantification de modèles dans osFoundry réduit un modèle à poids ouverts en abaissant la précision numérique de ses poids : un modèle qui ne tiendrait pas dans la mémoire de votre GPU en pleine précision y tient une fois quantifié. Vous désignez un modèle à osFoundry, choisissez un niveau cible comme q4 ou q3, et il produit une copie quantifiée exécutable en local. Le gain concret est exactement celui que l'on recherche : un modèle de 70 milliards de paramètres, qui exige normalement un serveur multi-GPU, peut être comprimé assez pour se charger et tourner sur un seul GPU de portable, au prix d'un peu de précision.
Comme osFoundry est un espace de travail bureau local-first et à clé personnelle (BYOK), la quantification se fait sur votre machine et le modèle quantifié reste sur votre appareil tant que vous ne le déplacez pas. Aucun aller-retour vers le cloud n'est requis, et aucun revendeur ne s'intercale entre vous et le modèle. Le même espace de travail qui exécute le modèle quantifié fait aussi tourner votre chat, vos agents, vos apps, votre code et vos connaissances : un modèle que vous quantifiez devient donc immédiatement utilisable comme backend local pour ce travail, au lieu d'être un fichier à raccorder ailleurs.
La quantification est un compromis, et osFoundry en fait un compromis que vous maîtrisez. Une version q4 conserve l'essentiel de la qualité d'un modèle tout en divisant à peu près par quatre son empreinte mémoire par rapport à des poids 16 bits ; passer en q3 économise davantage de mémoire mais sacrifie plus de précision. Vous choisissez le niveau par modèle, conservez à la fois l'original et la copie quantifiée, et basculez entre modèles locaux quantifiés et modèles cloud ou auto-hébergés depuis la même interface, ce qui est utile lorsque vous voulez un petit modèle quantifié pour des brouillons locaux rapides et un modèle cloud plus grand pour les passes finales.
Fonctionnalités clés
- Quantifiez n'importe quel modèle à poids ouverts en q4 ou q3 en quelques clics, sans assembler de pipeline en ligne de commande
- Faites tourner un modèle de classe 70B sur un seul GPU de portable en réduisant son empreinte mémoire par la quantification
- La quantification s'exécute en local sur votre appareil et le modèle quantifié y reste : rien n'est téléversé
- Gardez l'original et la copie quantifiée côte à côte et choisissez le niveau de précision par modèle
- Faites tourner des modèles locaux quantifiés aux côtés de modèles cloud et auto-hébergés depuis un seul espace BYOK, sans surcoût de revendeur
Cas d’usage
- Développeur solo : quantifie un modèle 70B en q4 pour qu'il tourne sur un GPU de portable et l'aide à coder hors ligne dans un avion ou sur un réseau cloisonné
- Analyste soucieux de confidentialité : garde un modèle quantifié entièrement sur l'appareil pour que les documents sensibles ne quittent jamais la machine pendant l'analyse
- Bâtisseur attentif aux coûts : utilise un modèle local q3 rapide pour le brouillon itératif et bascule vers un modèle cloud dans le même espace uniquement pour la sortie finale
Questions fréquentes
De combien un modèle rétrécit-il en q4 ou q3 ?
La quantification abaisse la précision des poids d'un modèle, si bien que l'usage mémoire chute nettement. Une version q4 pèse environ un quart du même modèle en poids 16 bits, c'est pourquoi un modèle 70B qui exige un serveur multi-GPU en pleine précision peut tenir sur un seul GPU de portable. q3 économise encore plus de mémoire mais sacrifie plus de précision : vous choisissez donc le niveau par modèle selon le compromis souhaité.
Quantifier un modèle réduit-il sa qualité ?
Un peu, oui. La quantification est un compromis : q4 conserve l'essentiel de la qualité d'un modèle tout en réduisant fortement la mémoire, tandis que q3 économise plus de mémoire et perd plus de précision. osFoundry vous laisse choisir le niveau par modèle et conserver l'original à côté de la copie quantifiée, afin de comparer et décider ce qui est acceptable pour votre tâche plutôt que de vous engager à l'aveugle.
Où s'exécute la quantification, et mon modèle quitte-t-il ma machine ?
Elle s'exécute en local. osFoundry est un espace de travail bureau local-first et à clé personnelle : la quantification se fait donc sur votre appareil et le modèle quantifié y reste tant que vous ne choisissez pas de le déplacer. Aucun téléversement vers le cloud n'est imposé et aucun revendeur ne s'intercale entre vous et le modèle, ce qui le rend adapté au travail privé ou hors ligne.