Accueil / Glossaire / Paramètres
What is Paramètres?
Les paramètres sont les poids appris d’un réseau neuronal. Le catalogue d’osFoundry étiquette chaque modèle avec son nombre de paramètres (p. ex. 7B, 70B) pour que vous puissiez ajuster la taille du modèle à votre matériel et à vos besoins de qualité.
Detail
Le nombre de paramètres est l’approximation grossière de la capacité d’un LLM. Un modèle 7B possède 7 milliards de poids appris ; un 70B en possède 70 milliards. Plus de paramètres signifie généralement une meilleure qualité mais exponentiellement plus de mémoire et de calcul. Un modèle 7B Q4 nécessite ~6 Go de VRAM ; un 70B Q4 nécessite ~50 Go.
Le nombre de paramètres n’est pas le seul facteur de qualité — les données d’entraînement, l’architecture et le post-entraînement comptent également. Les modèles 7B modernes battent souvent les anciens modèles 70B sur les benchmarks courants.
Related terms
Related features