홈 / 기능 / 학습 및 파인튜닝 / 양자화
osFoundry에서 저렴한 추론을 위해 모델 양자화
osFoundry는 원클릭으로 모든 오픈 웨이트 모델을 Q4_K_M, Q5_K_M, Q6_K, 또는 FP16으로 양자화합니다. Q4로 양자화된 70B 모델은 단일 A100 80GB 또는 두 개의 소비자용 24GB 카드에 맞으며, 채팅 워크로드에 대한 최소한의 품질 손실로 FP16보다 5-10배 낮은 비용으로 실행됩니다.
요점
- 원클릭 양자화: Q4_K_M, Q5_K_M, Q6_K, FP16.
- 양자화된 모델은 동일한 라우팅 핸들을 유지합니다 — 드롭인 대체.
- 일반적인 채팅 작업에 대해 Q4에서 5-10배 비용 절감.
- 전환하기 전에 자체 평가 세트에 대해 품질 벤치마크를 실행합니다.
자주 묻는 질문
Q4에서 얼마나 많은 품질이 손실됩니까?
채팅 작업의 채팅 모델의 경우 표준 벤치마크에서 ~1-3 퍼센트 포인트. 코드 생성 모델은 더 많이 손실됩니다 — 코드의 경우 Q5_K_M을 시도하세요.
품질이 떨어지면 되돌릴 수 있습니까?
예. 양자화된 모델은 원본과 함께 추가되며 절대 대체하지 않습니다.
관련 기능