osFoundry / Platform
模型量化
几次点击即可将任意模型量化到 Q4 / Q3。在笔记本 GPU 上运行 70B 模型。
简介
osFoundry的模型量化通过降低开源权重模型权重的数值精度来缩小模型，让原本在全精度下装不进你GPU显存的模型，量化之后就能装下。你在osFoundry中指定一个模型，选择q4或q3这样的目标级别，它就会生成一个可在本地运行的量化副本。实际收益正是大家搜索的那一点：一个通常需要多GPU服务器的700亿参数模型，可以被压缩到足以在一块笔记本GPU上加载并运行，代价是损失一些精度。
由于osFoundry是本地优先、自带密钥（BYOK）的桌面工作区，量化在你的机器上进行，量化后的模型除非你自己移动，否则始终留在你的设备上。既不需要往返云端，你与模型之间也没有任何转售商。运行量化模型的工作区，同时也运行你的聊天、智能体、应用、代码和知识，因此你量化的模型可以立即作为这项工作的本地后端使用，而不是一个还得在别处接线才能用的文件。
量化是一种取舍，而osFoundry把这种取舍的主动权交给你。相比16位权重，q4版本大致把显存占用降到四分之一，同时保留模型的大部分质量；降到q3能省下更多显存，但要牺牲更多精度。你可以为每个模型分别选择级别，同时保留原始模型和量化副本，并在同一界面中于本地量化模型与云端或自托管模型之间切换——当你想用小型量化模型做快速本地草稿、用更大的云端模型做最终定稿时，这一点很有用。
主要功能
- 几步点击即可把任意开源权重模型量化到q4或q3，无需拼装命令行流水线
- 通过量化削减显存占用，在一块笔记本GPU上运行70B级别的模型
- 量化在你的设备上本地运行，量化后的模型也留在本地：不上传任何内容
- 把原始模型和量化副本并排保留，并为每个模型单独选择精度级别
- 在一个BYOK工作区中，让量化的本地模型与云端及自托管模型并肩运行，没有转售加价
使用场景
- 独立开发者：把70B模型量化到q4，让它在笔记本GPU上运行，在飞机上或封闭网络中也能离线获得编码帮助
- 注重隐私的分析师：把量化模型完全保留在设备本地，让敏感文档在分析过程中始终不离开机器
- 控制成本的构建者：用快速的本地q3模型做迭代草稿，只在最终产出时在同一工作区切换到云端模型
常见问题
在q4或q3下模型能小多少？
量化降低了模型权重的精度，因此显存占用大幅下降。q4版本的体积大约是同一模型16位权重的四分之一，这正是为什么一个全精度下需要多GPU服务器的70B模型能装进一块笔记本GPU。q3能省下更多显存，但要牺牲更多精度，所以你可以根据想要的取舍，为每个模型分别选择级别。
量化模型会降低它的质量吗？
会降低一些。量化是一种取舍：q4在大幅削减显存的同时保留了模型的大部分质量，而q3省下更多显存、损失更多精度。osFoundry让你为每个模型选择级别，并把原始模型与量化副本一并保留，这样你就能对比后判断哪种对你的任务是可接受的，而不必盲目做决定。
量化在哪里运行，我的模型会离开我的机器吗？
在本地运行。osFoundry是本地优先、自带密钥的桌面工作区，所以量化在你的设备上进行，量化后的模型也留在那里，除非你自己选择移动它。既不强制上传云端，你与模型之间也没有转售商，这正是它适合私密或离线工作的原因。