Главная / Глоссарий / Параметры
Что такое Параметры (Parameters)?
Параметры — это обученные веса нейронной сети. Каталог osFoundry маркирует каждую модель числом параметров (например, 7B, 70B), чтобы вы могли сопоставить размер модели с вашим оборудованием и требованиями к качеству.
Подробнее
Число параметров — это приблизительная мера ёмкости LLM. Модель 7B имеет 7 миллиардов обученных весов; 70B — 70 миллиардов. Больше параметров обычно означает лучшее качество, но экспоненциально больше памяти и вычислений. Модель 7B Q4 требует ~6 ГБ VRAM; 70B Q4 требует ~50 ГБ.
Число параметров — не единственный фактор качества: обучающие данные, архитектура и пост-обучение тоже важны. Современные модели 7B часто превосходят старые модели 70B на распространённых бенчмарках.
Часто задаваемые вопросы
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
Связанные термины
Связанные возможности