ホーム / 機能 / 学習・ファインチューニング / 量子化
osFoundryで安価な推論のためにモデルを量子化
osFoundryは、任意のオープンウェイトモデルをQ4_K_M、Q5_K_M、Q6_K、FP16にワンクリックで量子化します。Q4に量子化された70Bモデルは単一のA100 80 GBまたは24 GBコンシューマー2枚に収まり、チャットワークロードでは品質低下を最小限に抑えつつFP16より5〜10倍低コストで動きます。
要点
- ワンクリック量子化: Q4_K_M、Q5_K_M、Q6_K、FP16。
- 量子化モデルは同じルーティングハンドルを保持 — ドロップイン置換。
- 一般的なチャットタスクでQ4は5〜10倍のコスト削減。
- 切り替え前に自身の評価セットで品質ベンチマークを実行可能。
よくある質問
Q4でどれくらい品質が失われますか?
チャットモデルがチャットタスクをこなす場合、標準ベンチマークで約1〜3ポイントの低下です。コード生成モデルはより低下するため、コードにはQ5_K_Mを試してください。
品質が低下したら戻せますか?
はい。量子化モデルは元のモデルと並んで追加され、元のモデルを置き換えることはありません。
関連機能