首页 / 术语表 / 参数
什么是参数（Parameters）？
参数是神经网络学习到的权重。osFoundry 目录会为每个模型标注其参数量（如 7B、70B），方便您将模型规模与硬件和质量需求相匹配。
详细说明
参数数量是衡量 LLM 容量的粗略指标。7B 模型有 70 亿个学习权重；70B 则有 700 亿个。参数越多通常质量越好，但所需内存和算力呈指数级增长。7B Q4 模型大约需要 6 GB 显存；70B Q4 大约需要 50 GB。
参数数量并非唯一的质量因素——训练数据、架构和后训练同样重要。在常见基准测试上，现代 7B 模型往往能超越较老的 70B 模型。
常见问题
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
相关术语
相关功能