Home / Glossario / Parametri
Che cos’è Parameters (parametri)?
I parametri sono i pesi appresi di una rete neurale. Il catalogo di osFoundry etichetta ogni modello con il proprio conteggio di parametri (per esempio 7B, 70B) così può abbinare la dimensione del modello al Suo hardware e alle Sue esigenze di qualità.
Dettagli
Il conteggio dei parametri è un proxy approssimativo della capacità di un LLM. Un modello 7B ha 7 miliardi di pesi appresi; uno 70B ne ha 70 miliardi. Più parametri significano generalmente migliore qualità ma esponenzialmente più memoria e compute. Un modello 7B Q4 richiede ~6 GB di VRAM; un 70B Q4 richiede ~50 GB.
Il conteggio dei parametri non è l'unico fattore di qualità: contano anche dati di training, architettura e post-training. I moderni modelli 7B spesso battono modelli 70B più vecchi sui benchmark comuni.
Domande frequenti
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
Termini correlati
Funzionalità correlate