osFoundry / Platform
Multi Chat
Execute o mesmo prompt em dois ou mais modelos lado a lado. Compare respostas, custos, latência — escolha o vencedor.
O que é
O Multi Chat envia um único prompt para dois ou mais modelos ao mesmo tempo e dispõe as respostas lado a lado em uma só tela. Em vez de colar a mesma pergunta em abas separadas e guardar as diferenças de cabeça, você envia uma vez e lê as respostas em colunas paralelas. Ele fica na parte de IA e Orquestração do osFoundry, então os modelos que você compara podem ser qualquer um que tenha configurado: um modelo local na sua própria máquina, um modelo em nuvem por trás da sua chave de API ou um endpoint auto-hospedado. Como o osFoundry funciona com a sua própria chave (BYOK), o custo que você vê para cada modelo é a tarifa real do seu provedor, sem nenhuma margem de revenda por cima.
Cada coluna mostra a resposta do modelo ao lado dos números que de fato decidem com qual você fica: quanto a chamada custou e quanto tempo levou para responder. Isso transforma a sensação vaga de "esse pareceu melhor" em uma comparação direta de qualidade, preço e latência para o seu prompt específico. Um modelo barato e rápido pode bastar para o trabalho rotineiro, enquanto um mais lento ou mais caro só se justifica nos prompts difíceis. O Multi Chat deixa você achar esse limite testando com as suas próprias entradas reais, e não com um benchmark.
O objetivo é escolher o vencedor para a tarefa à sua frente e seguir com ele. Rode a comparação, veja qual modelo dá a resposta que você quer a um custo e uma velocidade que você aceita, e padronize nele: sem adivinhação e sem custo de troca para testar o próximo candidato. Como tudo roda dentro do espaço de trabalho desktop local-first, seus prompts e as respostas podem ficar no seu dispositivo em vez de passar por uma camada intermediária de terceiros.
Principais recursos
- Envie um mesmo prompt para dois ou mais modelos de uma vez e leia cada resposta em colunas paralelas
- Compare o custo por resposta usando as tarifas reais da sua própria chave de API, sem margem de revenda
- Veja a latência por modelo para saber qual é rápido o bastante para a tarefa
- Misture modelos locais, em nuvem e auto-hospedados na mesma comparação, a partir de um só espaço de trabalho
- Escolha o modelo vencedor com as suas entradas reais, não com pontuações de benchmarks genéricos
Casos de uso
- Desenvolvedor: testa o mesmo prompt de código em um modelo local e dois em nuvem para achar o mais barato que ainda acerta
- Engenheiro de prompt: ajusta a redação e vê na hora qual modelo lida melhor com a nova formulação em qualidade, custo e velocidade
- Líder de equipe avaliando provedores: roda prompts representativos lado a lado para decidir em qual modelo padronizar a equipe antes de se comprometer
Perguntas frequentes
Quantos modelos posso comparar de uma vez?
O Multi Chat roda o mesmo prompt em dois ou mais modelos lado a lado. Quais modelos ficam disponíveis depende do que você configurou no osFoundry (local, em nuvem ou auto-hospedado), já que você usa as suas próprias chaves.
De onde vêm os números de custo e latência?
O custo se baseia na tarifa real por token do seu provedor, sob a sua própria chave de API, já que o osFoundry é BYOK e não adiciona margem de revenda. A latência é medida pelo tempo de resposta real de cada modelo ao seu prompt.
Meus prompts são enviados aos servidores do osFoundry?
O osFoundry é um espaço de trabalho desktop local-first, então seus prompts e respostas podem ficar no seu dispositivo. As chamadas vão direto ao modelo que você escolheu, usando as suas próprias chaves; um modelo local nunca sai da sua máquina.