osFoundry / Platform
基准测试
MMLU、GSM8K、HumanEval 等的并排得分。用数据选模型。
简介
Benchmarks 是 osFoundry 的模型对比视图,osFoundry 是一款自带密钥(BYOK)的桌面 AI 工作区。它把你可运行模型的已公开基准分数并排放在同一张表里,这样你不必只凭厂商的宣传数字去猜,而能看到各模型在与你工作对应的任务上的表现:MMLU 衡量广泛的知识与推理,GSM8K 衡量小学数学与多步运算,HumanEval 衡量代码生成,旁边还列有其他标准测评集。
由于 osFoundry 能在同一个工作区中运行任意模型(本地、云端或自托管),对比不会局限于某一家厂商的目录。你可以把托管的前沿模型与你在本地运行的较小 open-weight 模型放在一起权衡,在相同的列里读取分数,并为你的用例挑选真正有数据支持的那一个。一旦决定,该模型已经可以用你自己的 API 密钥使用:不会在厂商价格之上叠加任何转售加价,而且你在这里评估的内容无需离开你的设备即可完成对比。
重点在于一个站得住脚的选择,而非为了排行榜本身。在 MMLU 上领先的模型,可能在 HumanEval 上落后;某个本地模型在 GSM8K 上的得分或许已足够接近,以致于私有运行且无按席位费用反而是更好的选择。Benchmarks 会在你把模型投入聊天、智能体或流水线之前,把这种取舍清晰呈现出来,使 osFoundry 中的模型选择建立在数字之上,而非口碑。
主要功能
- 在一张对比表中并排呈现 MMLU、GSM8K、HumanEval 及其他标准测评集的分数
- 涵盖你在 osFoundry 中真正能运行的模型(本地、云端与自托管),而非某一家厂商的目录
- 让基准与任务相匹配:知识与推理看 MMLU,数学看 GSM8K,代码看 HumanEval
- 做出决定后直接用你自己的 API 密钥运行模型,厂商价格之上没有任何转售加价
- 将本地 open-weight 模型与托管的前沿模型对比,在准确度、隐私与成本之间权衡
使用场景
- 开发者:在把某个模型接入编码智能体之前,对比多个候选模型的 HumanEval 分数
- 团队负责人:检查某个本地 open-weight 模型在 MMLU 与 GSM8K 上的得分是否足够接近,从而私有运行且无按席位费用
- 研究者:把多个模型的已公开分数在同一视图中排列,为某个工作区挑选一个站得住脚的默认模型
常见问题
我可以在哪些基准上对比模型?
并排展示的标准公开测评集,包括 MMLU(广泛的知识与推理)、GSM8K(小学与多步数学)和 HumanEval(代码生成),旁边还列有其他测评集,方便你把指标与任务对应起来。
osFoundry 会自己跑这些基准吗?
该视图对比的是你可运行模型的已公开基准分数,帮助你挑选有数据支撑的模型。它是一种模型选择辅助:目标是在你把模型投入聊天、智能体或流水线之前,做出有依据的选择。
从基准中选定模型后,我该如何使用它?
你对比的模型正是 osFoundry 能运行的那些:本地、云端或自托管。选定后,你用自己的 API 密钥按厂商价格使用,没有转售加价,本地模型还可以完全留在你的设备上。