osFoundry / Platform
Benchmarks
Pontuações lado a lado em MMLU, GSM8K, HumanEval e outros. Escolha um modelo com base em dados.
O que é
Benchmarks é a visão de comparação de modelos do osFoundry, o espaço de trabalho de IA de desktop que funciona com sua própria chave (BYOK). Ele coloca em uma única tabela as pontuações de benchmark publicadas dos modelos que você pode executar, de modo que, em vez de adivinhar pelo número de destaque de um fornecedor, você vê como os modelos se comparam nas tarefas que correspondem ao seu trabalho: MMLU para conhecimento e raciocínio amplo, GSM8K para matemática de nível escolar e cálculo de várias etapas, HumanEval para geração de código e outras suítes padrão ao lado delas.
Como o osFoundry executa qualquer modelo (local, na nuvem ou auto-hospedado) a partir do mesmo espaço de trabalho, a comparação não se limita ao catálogo de um único fornecedor. Você pode pesar um modelo de fronteira hospedado contra um modelo open-weight menor que roda localmente, ler as pontuações nas mesmas colunas e escolher aquele que os dados realmente sustentam para o seu caso. Depois de decidir, esse modelo já está disponível para uso com sua própria chave de API: sem sobretaxa de revenda acima do preço do fornecedor, e nada do que você avalia aqui precisa sair do seu dispositivo para ser comparado.
O objetivo é uma escolha defensável, não um ranking por si só. Um modelo que lidera no MMLU pode ficar atrás no HumanEval; um modelo local pode pontuar perto o suficiente no GSM8K a ponto de rodá-lo de forma privada e sem custo por assento ser a melhor decisão. O Benchmarks torna esse trade-off visível antes de você comprometer um modelo com um chat, um agente ou um pipeline, para que a seleção de modelos no osFoundry seja baseada em números, e não em reputação.
Principais recursos
- Pontuações lado a lado em MMLU, GSM8K, HumanEval e outras suítes padrão em uma única tabela comparativa
- Cobre os modelos que você realmente pode executar no osFoundry (local, nuvem e auto-hospedados), não o catálogo de um único fornecedor
- Ajuste o benchmark à tarefa: conhecimento e raciocínio (MMLU), matemática (GSM8K), código (HumanEval)
- Decida e execute o modelo diretamente com sua própria chave de API, sem sobretaxa de revenda acima do preço do fornecedor
- Compare modelos locais open-weight com modelos de fronteira hospedados para equilibrar precisão, privacidade e custo
Casos de uso
- Desenvolvedor: compare as pontuações de HumanEval entre modelos candidatos antes de conectar um a um agente de programação
- Líder de equipe: verifique se um modelo local open-weight pontua perto o suficiente em MMLU e GSM8K para rodá-lo de forma privada sem taxas por assento
- Pesquisador: alinhe em uma única visão as pontuações publicadas de vários modelos para escolher um padrão defensável para um espaço de trabalho
Perguntas frequentes
Em quais benchmarks posso comparar os modelos?
Suítes padrão publicadas mostradas lado a lado, incluindo MMLU (conhecimento e raciocínio amplo), GSM8K (matemática escolar e de várias etapas) e HumanEval (geração de código), com outras suítes listadas junto a elas para que você ajuste a métrica à sua tarefa.
O osFoundry executa os benchmarks por conta própria?
A visão compara pontuações de benchmark publicadas dos modelos que você pode executar, para que você escolha um modelo apoiado por dados. É um auxílio à seleção de modelos: o objetivo é uma escolha fundamentada antes de comprometer um modelo com um chat, agente ou pipeline.
Depois de escolher um modelo pelos benchmarks, como eu o uso?
Os modelos que você compara são os que o osFoundry pode executar: local, na nuvem ou auto-hospedados. Depois de escolher, você o usa com sua própria chave de API pelo preço do fornecedor e sem sobretaxa de revenda, e os modelos locais podem permanecer inteiramente no seu dispositivo.