osFoundry / Platform
多聊天
在两个或多个模型上并排运行同一条提示。比较答案、成本、延迟——选出胜者。
简介
Multi Chat 会把同一条提示词同时发给两个或更多模型，并在一个视图中把它们的回答并排展示。你不必再把同一个问题粘到不同标签页、在脑子里记住差异，而是发送一次，就能在并排的列中阅读各自的回答。它位于 osFoundry 的 AI & Orchestration 部分，因此你对比的模型可以是任何已配置的模型：跑在自己机器上的本地模型、用自己 API key 调用的云端模型，或自托管的端点。由于 osFoundry 采用自带密钥（BYOK），你看到的每个模型成本都是你所用服务商的真实费率，上面不加任何转售加价。
每一列在展示模型回答的同时，也给出真正决定你留用哪一个的数字：这次调用花了多少钱，以及响应用了多长时间。这就把"感觉这个更好"的模糊印象，变成针对你具体提示词的质量、价格和延迟的直接对比。日常工作也许一个便宜又快的模型就够了，而更慢或更贵的模型只有在难题提示词上才配得上它的位置。Multi Chat 让你用自己真实的输入去测试，而不是靠跑分，来找到这条分界线。
关键是为眼前这个任务选出胜者，然后就带着它继续往下走。跑一遍对比，看哪个模型能以你能接受的成本和速度给出你想要的答案，就把它定为标准：不用猜，也没有为试下一个候选而付出的切换成本。由于一切都在本地优先（local-first）的桌面工作区内运行，你的提示词和回答可以留在自己的设备上，而不必经过第三方的中间层。
主要功能
- 把同一条提示词一次发给两个或更多模型，在并排的列中阅读每一个回答
- 按自己 API key 的真实费率比较每次回答的成本，不加任何转售加价
- 查看各模型的延迟，判断哪个模型对当前任务足够快
- 在一个工作区里，把本地、云端和自托管模型放进同一次对比
- 用自己真实的输入挑选胜出的模型，而不是看通用跑分
使用场景
- 开发者：把同一条编码提示词放到一个本地模型和两个云端模型上测试，找出既能答对又最便宜的那个
- 提示词工程师：反复打磨措辞，即时看到哪个模型在质量、成本和速度上最能驾驭新的表述
- 评估服务商的团队负责人：把有代表性的提示词并排跑一遍，在正式投入前决定让团队统一到哪个模型
常见问题
一次能对比多少个模型？
Multi Chat 会把同一条提示词并排跑在两个或更多模型上。能用哪些模型取决于你在 osFoundry 中配置了什么（本地、云端或自托管），因为密钥是你自己提供的。
成本和延迟的数字从哪里来？
成本基于你自己 API key 下服务商的真实按 token 费率，因为 osFoundry 采用自带密钥，不加任何转售加价。延迟则根据每个模型对你这条提示词的实际响应时间测得。
我的提示词会被发到 osFoundry 的服务器吗？
osFoundry 是本地优先的桌面工作区，因此你的提示词和回答可以留在自己的设备上。调用会用你自己的密钥直接发给你选定的模型；本地模型则根本不会离开你的机器。