首页 / 功能 / 训练与微调 / 量化
在 osFoundry 上量化模型以降低推理成本
osFoundry 一键将任意开放权重模型量化至 Q4_K_M、Q5_K_M、Q6_K 或 FP16。70B 模型量化为 Q4 后可放入单张 A100 80 GB 或两张消费级 24 GB 卡——对话工作负载的运行成本比 FP16 低 5 至 10 倍，质量损失极小。
快速解答
- 一键量化：Q4_K_M、Q5_K_M、Q6_K、FP16。
- 量化后的模型保持相同的路由句柄——可直接替换。
- 典型对话任务在 Q4 下成本降低 5 至 10 倍。
- 在切换前可在您自己的评估集上跑质量基准。
常见问题
Q4 下损失多少质量？
对话模型在对话任务上，标准基准约下降 1 至 3 个百分点。代码生成模型损失更多——代码请尝试 Q5_K_M。
如果质量下降我能回退吗？
可以。量化模型会与原模型并存——不会替换原模型。
相关功能