osFoundry / Platform
모델 양자화
어떤 모델이든 몇 번의 클릭으로 Q4 / Q3까지 양자화하세요. 70B 모델을 노트북 GPU에서 실행하세요.
개요
osFoundry의 모델 양자화는 오픈 웨이트 모델의 가중치 수치 정밀도를 낮춰 모델 크기를 줄입니다. 그래서 전체 정밀도에서는 GPU 메모리에 들어가지 않던 모델도 양자화하면 들어갑니다. osFoundry에 모델을 지정하고 q4나 q3 같은 목표 레벨을 고르면, 로컬에서 실행할 수 있는 양자화된 사본이 만들어집니다. 실질적인 효과는 사람들이 찾는 바로 그것입니다. 보통 멀티 GPU 서버가 필요한 700억 파라미터 모델을, 약간의 정확도를 대가로 한 대의 노트북 GPU에서 로드해 실행할 수 있을 만큼 압축할 수 있습니다.
osFoundry는 로컬 우선이자 자체 키를 쓰는(BYOK) 데스크톱 워크스페이스이므로, 양자화는 당신의 기기에서 이루어지고 양자화된 모델은 직접 옮기지 않는 한 기기 안에 남습니다. 클라우드를 오갈 필요가 없고, 당신과 모델 사이에 끼어드는 재판매자도 없습니다. 양자화한 모델을 돌리는 바로 그 워크스페이스가 채팅, 에이전트, 앱, 코드, 지식도 함께 돌립니다. 따라서 양자화한 모델은 어딘가에 따로 연결해야 하는 파일이 아니라, 그 작업의 로컬 백엔드로 즉시 쓸 수 있습니다.
양자화는 트레이드오프이며, osFoundry는 이를 당신이 조절하는 대상으로 다룹니다. q4 빌드는 16비트 가중치 대비 메모리 사용량을 대략 4분의 1로 줄이면서도 모델 품질의 대부분을 유지합니다. q3로 내리면 메모리는 더 아끼지만 정확도는 더 많이 잃습니다. 레벨은 모델마다 고를 수 있고, 원본과 양자화된 사본을 모두 보관하며, 같은 화면에서 로컬 양자화 모델과 클라우드 또는 자체 호스팅 모델을 오갈 수 있습니다. 빠른 로컬 초안에는 작은 양자화 모델을, 최종 마무리에는 더 큰 클라우드 모델을 쓰고 싶을 때 유용합니다.
주요 기능
- 어떤 오픈 웨이트 모델이든 몇 번의 클릭으로 q4나 q3까지 양자화하며, 명령줄 파이프라인을 조립할 필요가 없습니다
- 양자화로 메모리 사용량을 줄여 70B급 모델을 한 대의 노트북 GPU에서 실행합니다
- 양자화는 당신의 기기에서 로컬로 실행되고 양자화된 모델도 로컬에 남습니다. 아무것도 업로드되지 않습니다
- 원본과 양자화된 사본을 나란히 보관하고 모델마다 정밀도 레벨을 고릅니다
- 양자화한 로컬 모델을 클라우드 및 자체 호스팅 모델과 하나의 BYOK 워크스페이스에서 함께 실행하며, 재판매 마진이 없습니다
활용 사례
- 1인 개발자: 70B 모델을 q4로 양자화해 노트북 GPU에서 돌리고, 비행기 안이나 폐쇄된 네트워크에서도 오프라인 코딩 도움을 받는다
- 프라이버시를 중시하는 분석가: 양자화 모델을 전적으로 기기 안에 두어, 분석 중 민감한 문서가 기기 밖으로 나가지 않게 한다
- 비용을 신경 쓰는 빌더: 반복 초안 작성에는 빠른 로컬 q3 모델을 쓰고, 최종 출력에만 같은 워크스페이스에서 클라우드 모델로 전환한다
자주 묻는 질문
q4나 q3에서 모델은 얼마나 작아지나요?
양자화는 모델 가중치의 정밀도를 낮추기 때문에 메모리 사용량이 크게 줄어듭니다. q4 빌드는 같은 모델의 16비트 가중치 대비 약 4분의 1 크기이며, 그래서 전체 정밀도에서 멀티 GPU 서버가 필요한 70B 모델이 한 대의 노트북 GPU에 들어갑니다. q3는 메모리를 더 아끼지만 정확도는 더 많이 잃으므로, 원하는 트레이드오프에 맞춰 모델마다 레벨을 고릅니다.
모델을 양자화하면 품질이 떨어지나요?
어느 정도는 그렇습니다. 양자화는 트레이드오프입니다. q4는 메모리를 크게 줄이면서도 모델 품질의 대부분을 유지하고, q3는 메모리를 더 아끼는 대신 정확도를 더 많이 잃습니다. osFoundry는 모델마다 레벨을 고르고 원본을 양자화된 사본과 함께 보관하게 해주므로, 무턱대고 결정하는 대신 비교해 보고 작업에 허용되는 수준을 판단할 수 있습니다.
양자화는 어디서 실행되며, 제 모델이 기기 밖으로 나가나요?
로컬에서 실행됩니다. osFoundry는 로컬 우선이자 자체 키를 쓰는 데스크톱 워크스페이스이므로, 양자화는 당신의 기기에서 이루어지고 양자화된 모델은 직접 옮기지 않는 한 그 자리에 남습니다. 강제되는 클라우드 업로드도 없고 당신과 모델 사이의 재판매자도 없으며, 바로 이 점이 비공개 작업이나 오프라인 작업에 적합하게 만듭니다.