Accueil / Glossaire / Paramètres
Qu’est-ce que Paramètres ?
Les paramètres sont les poids appris d’un réseau neuronal. Le catalogue d’osFoundry étiquette chaque modèle avec son nombre de paramètres (p. ex. 7B, 70B) pour que vous puissiez ajuster la taille du modèle à votre matériel et à vos besoins de qualité.
Détails
Le nombre de paramètres est l’approximation grossière de la capacité d’un LLM. Un modèle 7B possède 7 milliards de poids appris ; un 70B en possède 70 milliards. Plus de paramètres signifie généralement une meilleure qualité mais exponentiellement plus de mémoire et de calcul. Un modèle 7B Q4 nécessite ~6 Go de VRAM ; un 70B Q4 nécessite ~50 Go.
Le nombre de paramètres n’est pas le seul facteur de qualité — les données d’entraînement, l’architecture et le post-entraînement comptent également. Les modèles 7B modernes battent souvent les anciens modèles 70B sur les benchmarks courants.
Questions fréquentes
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
Termes associés
Fonctionnalités associées