osFoundry / Platform
マルチチャット
同じプロンプトを2つ以上のモデルで横並びに実行。回答、コスト、レイテンシを比較し、勝者を選びましょう。
概要
Multi Chatは、1つのプロンプトを2つ以上のモデルへ同時に送り、それぞれの回答を1画面に横並びで表示する機能です。同じ質問を別々のタブに貼り付けて頭の中で差分を照らし合わせる代わりに、一度送信するだけで並んだ列として回答を読み比べられます。osFoundryのAI & Orchestration領域に組み込まれているため、比較対象は設定済みのモデルなら何でも構いません。手元のマシンで動くローカルモデルでも、自分のAPIキーで呼ぶクラウドモデルでも、セルフホストのエンドポイントでも扱えます。osFoundryはBYOK(自分のキーを持ち込む)方式なので、各モデルに表示されるコストは再販業者のマークアップが一切乗らない、プロバイダー本来の料金です。
各列には、モデルの回答とともに、どれを採用するかを実際に左右する数値が並びます。その呼び出しにかかったコストと、応答までに要した時間です。これにより「なんとなくこちらが良かった」という曖昧な感触が、自分のプロンプトに対する品質、価格、レイテンシの直接比較に変わります。日常的な作業には安価で高速なモデルで十分なことが多く、遅めのモデルや割高なモデルは難しいプロンプトでこそ真価を発揮します。Multi Chatを使えば、ベンチマークではなく自分の実際の入力で試しながら、その境目を見極められます。
狙いは、目の前のタスクに勝つモデルを選び、そのまま前に進むことです。比較を実行し、納得できるコストと速度で望む回答を返すモデルを見つけたら、それに標準を定めます。当て推量も、次の候補を試すための切り替えコストもありません。すべてがローカルファーストのデスクトップワークスペース内で動くため、プロンプトと回答は第三者の中間層を経由せず、自分のデバイスにとどめておけます。
主な機能
- 1つのプロンプトを2つ以上のモデルへ同時送信し、すべての回答を並んだ列で読み比べられる
- 自分のAPIキー本来の料金でコストを比較でき、再販業者のマークアップは一切乗らない
- モデルごとのレイテンシが見えるので、そのタスクに十分な速さのモデルが分かる
- ローカル、クラウド、セルフホストのモデルを、1つのワークスペースから同じ比較に混在させられる
- 汎用ベンチマークのスコアではなく、自分の実際の入力で勝ちモデルを選べる
活用例
- 開発者: 同じコーディング用プロンプトをローカルモデルと2つのクラウドモデルで試し、正しく解けるなかで最も安いものを見つける
- プロンプトエンジニア: 表現を練り直しながら、新しい言い回しを品質、コスト、速度の面で最もうまく扱えるモデルをその場で確認する
- プロバイダーを評価するチームリード: 代表的なプロンプトを横並びで実行し、チームで標準化するモデルを決めてから本格導入する
よくある質問
一度に何個のモデルを比較できますか。
Multi Chatは同じプロンプトを2つ以上のモデルへ横並びで送ります。利用できるモデルはosFoundryで設定した内容次第です。BYOKでご自身のキーを持ち込むため、ローカル、クラウド、セルフホストのいずれも対象にできます。
コストとレイテンシの数値はどこから来ますか。
コストは自分のAPIキーで適用されるプロバイダー本来のトークン単価に基づきます。osFoundryはBYOK方式で、再販業者のマークアップを一切加えません。レイテンシは各モデルがそのプロンプトに実際に応答した時間から計測します。
自分のプロンプトはosFoundryのサーバーへ送られますか。
osFoundryはローカルファーストのデスクトップワークスペースなので、プロンプトと回答は自分のデバイスにとどめておけます。呼び出しは自分のキーを使って選んだモデルへ直接届き、ローカルモデルならマシンの外にまったく出ません。