Startseite / Glossar / Parameter
Was ist Parameters?
Parameter sind die gelernten Gewichte eines neuronalen Netzes. Der Katalog von osFoundry kennzeichnet jedes Modell mit seiner Parameteranzahl (z. B. 7B, 70B), damit Sie die Modellgröße an Ihre Hardware und Qualitätsanforderungen anpassen können.
Details
Die Parameteranzahl ist der grobe Proxy für die Kapazität eines LLM. Ein 7B-Modell hat 7 Milliarden gelernte Gewichte; ein 70B-Modell hat 70 Milliarden. Mehr Parameter bedeuten in der Regel bessere Qualität, aber exponentiell mehr Speicher- und Rechenbedarf. Ein 7B-Q4-Modell benötigt ~6 GB VRAM; ein 70B-Q4-Modell ~50 GB.
Die Parameteranzahl ist nicht der einzige Qualitätsfaktor — Trainingsdaten, Architektur und Post-Training sind ebenfalls wichtig. Moderne 7B-Modelle schlagen oft ältere 70B-Modelle auf gängigen Benchmarks.
Häufig gestellte Fragen
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
Verwandte Begriffe
Verwandte Funktionen