홈 / 용어집 / 양자화
양자화 (Quantization)란?
양자화는 가중치를 전체 16비트 부동 소수점 대신 더 낮은 정밀도(4비트 / 5비트 / 6비트)로 저장하여 LLM의 메모리 사용량을 줄입니다. osFoundry는 원 클릭으로 모델을 Q4_K_M, Q5_K_M, Q6_K 또는 FP16으로 양자화합니다.
자세히
Q4로 양자화된 모델은 대부분의 작업에서 품질 저하가 작은 상태로 FP16 모델 메모리의 약 25%만 사용합니다. 70B FP16 모델은 약 140GB VRAM이 필요하지만, 동일한 모델의 Q4는 약 35GB만 필요합니다 — 단일 A100 80GB에 적합합니다.
다양한 양자화 방식은 서로 다른 트레이드오프를 가집니다. Q4_K_M이 인기 있는 기본값입니다. 코드 생성 모델은 구문 충실도를 유지하기 위해 종종 Q5 이상이 필요합니다.
osFoundry의 접근 방식
osFoundry의 설치 흐름에서는 설치 시 양자화를 선택할 수 있습니다. 재학습 없이 나중에 양자화를 교체할 수 있습니다 — 동일한 모델 핸들, 다른 백킹 가중치입니다.
자주 묻는 질문
What does Q4_K_M mean?
A ~4-bit K-type mixed quantization with a medium (M) precision allocation. It is the standard quality/memory trade-off most local-LLM users start with.
Does quantization hurt quality?
Q8 is nearly indistinguishable from FP16, Q4_K_M is the accepted sweet spot, and Q3 and below degrade visibly. Sensitivity is task-dependent — code generation suffers first, summarization holds up longest.
How does quantization affect file size?
Model files shrink roughly in proportion to bit width: Q8 is about half of FP16, Q4 about a quarter — download time and disk usage shrink the same way.
관련 용어
관련 기능