홈 / 용어집 / 파라미터
파라미터 (Parameters)란?
파라미터는 신경망의 학습된 가중치입니다. osFoundry의 카탈로그는 모든 모델에 파라미터 수(예: 7B, 70B)를 표시하여 하드웨어와 품질 요구사항에 맞는 모델 크기를 선택할 수 있게 합니다.
자세히
파라미터 수는 LLM 용량의 대략적인 척도입니다. 7B 모델은 70억 개의 학습된 가중치를 가지며, 70B는 700억 개를 가집니다. 파라미터가 많을수록 일반적으로 품질이 향상되지만 메모리와 연산이 기하급수적으로 증가합니다. 7B Q4 모델은 약 6GB VRAM이 필요하고, 70B Q4는 약 50GB가 필요합니다.
파라미터 수가 유일한 품질 요소는 아닙니다 — 학습 데이터, 아키텍처, 사후 학습도 중요합니다. 현대의 7B 모델은 일반적인 벤치마크에서 이전의 70B 모델을 능가하는 경우가 많습니다.
자주 묻는 질문
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
관련 용어
관련 기능