osFoundry / Platform
ベンチマーク
MMLU、GSM8K、HumanEvalなどの横並びスコア。データに基づいてモデルを選べます。
概要
Benchmarksは、BYOK（自分のAPIキーを使う）デスクトップAIワークスペースであるosFoundryに備わったモデル比較ビューです。実行可能なモデルの公開ベンチマークスコアを1つの表に並べて表示するため、ベンダーが打ち出す代表値だけを頼りに推測するのではなく、自分の業務に対応するタスクごとにモデルの実力を見比べられます。具体的には、幅広い知識と推論を測るMMLU、算数と多段階の計算を測るGSM8K、コード生成を測るHumanEval、そしてその他の標準的なスイートを横並びで確認できます。
osFoundryはローカル、クラウド、セルフホストのいずれのモデルも同じワークスペースから実行できるため、比較対象は特定プロバイダーのカタログに縛られません。ホスティングされた最先端モデルと、手元でローカル実行する小型のオープンウェイトモデルを同じ列のスコアで見比べ、用途に対してデータが実際に裏付けるモデルを選べます。選定が済めば、そのモデルはすでに自分のAPIキーですぐに利用可能です。プロバイダー価格へのリセラーのマークアップは上乗せされず、ここで評価した内容がデバイスの外に出る必要もありません。
狙いはランキングそのものではなく、説明できる選択です。MMLUで首位のモデルがHumanEvalでは劣ることもありますし、ローカルモデルがGSM8Kで十分に近いスコアを出し、プライベートかつ席数課金なしで動かすほうが得策になる場合もあります。Benchmarksは、モデルをチャットやエージェント、パイプラインに組み込む前にこうしたトレードオフを可視化するので、osFoundryでのモデル選定は評判ではなく数値に基づいて行えます。
主な機能
- MMLU、GSM8K、HumanEvalなどの標準スイートのスコアを1つの比較表で横並びに確認できます
- 比較対象はosFoundryで実際に実行できるモデル（ローカル、クラウド、セルフホスト）であり、単一プロバイダーのカタログに限りません
- タスクに応じてベンチマークを使い分けられます。知識と推論はMMLU、算数はGSM8K、コードはHumanEvalです
- 選定後はそのモデルを自分のAPIキーで直接実行でき、プロバイダー価格へのリセラーのマークアップは一切ありません
- ローカルのオープンウェイトモデルとホスティング型の最先端モデルを比較し、精度、プライバシー、コストのバランスを取れます
活用例
- 開発者: コーディングエージェントに組み込む前に、候補モデルのHumanEvalスコアを比較する
- チームリード: ローカルのオープンウェイトモデルがMMLUとGSM8Kで十分に近いスコアを出すか確認し、席数課金なしでプライベートに運用できるか判断する
- 研究者: 複数モデルの公開スコアを1画面に並べ、ワークスペースの妥当なデフォルトを選ぶ
よくある質問
どのベンチマークでモデルを比較できますか
標準的な公開スイートを横並びで表示します。幅広い知識と推論のMMLU、算数と多段階計算のGSM8K、コード生成のHumanEvalに加え、その他のスイートも並べて掲載するため、指標を自分のタスクに合わせて選べます。
osFoundryがベンチマークを自ら実行するのですか
このビューは実行可能なモデルの公開ベンチマークスコアを比較するもので、データに裏付けられたモデルを選べます。あくまでモデル選定の補助であり、チャットやエージェント、パイプラインにモデルを組み込む前に根拠のある選択を得ることが目的です。
ベンチマークからモデルを選んだ後、どう使いますか
比較対象のモデルはosFoundryが実行できるもの（ローカル、クラウド、セルフホスト）です。選んだら自分のAPIキーでプロバイダー価格のまま利用でき、リセラーのマークアップはありません。ローカルモデルであればすべてデバイス内に留められます。