osFoundry / Platform
Benchmarks
Scores côte à côte sur MMLU, GSM8K, HumanEval et d'autres. Choisissez un modèle avec des données.
Présentation
Benchmarks est la vue de comparaison de modèles d'osFoundry, l'espace de travail d'IA de bureau qui fonctionne avec votre propre clé (BYOK). Elle place dans un même tableau les scores de benchmark publiés des modèles que vous pouvez exécuter, afin que, au lieu de deviner à partir du chiffre phare d'un fournisseur, vous voyiez comment les modèles se situent sur les tâches qui correspondent à votre travail : MMLU pour les connaissances et le raisonnement généraux, GSM8K pour les mathématiques de niveau scolaire et le calcul à plusieurs étapes, HumanEval pour la génération de code, ainsi que d'autres suites standard à leurs côtés.
Parce qu'osFoundry exécute n'importe quel modèle (local, cloud ou auto-hébergé) depuis le même espace de travail, la comparaison n'est pas limitée au catalogue d'un seul fournisseur. Vous pouvez peser un modèle de pointe hébergé face à un modèle open-weight plus petit que vous exécutez en local, lire les scores dans les mêmes colonnes et choisir celui que les données étayent réellement pour votre cas d'usage. Une fois votre choix fait, ce modèle est déjà disponible avec votre propre clé d'API : aucune marge de revendeur ajoutée au prix du fournisseur, et rien de ce que vous évaluez ici n'a besoin de quitter votre appareil pour être comparé.
L'objectif est un choix défendable, pas un classement pour lui-même. Un modèle en tête sur MMLU peut être à la traîne sur HumanEval ; un modèle local peut obtenir un score assez proche sur GSM8K pour que l'exécuter en privé et sans coût par siège soit le meilleur parti. Benchmarks rend cet arbitrage visible avant que vous n'affectiez un modèle à un chat, un agent ou un pipeline, de sorte que la sélection de modèles dans osFoundry repose sur des chiffres plutôt que sur une réputation.
Fonctionnalités clés
- Scores côte à côte sur MMLU, GSM8K, HumanEval et d'autres suites standard dans un seul tableau comparatif
- Couvre les modèles que vous pouvez réellement exécuter dans osFoundry (local, cloud et auto-hébergés), pas le catalogue d'un seul fournisseur
- Adaptez le benchmark à la tâche : connaissances et raisonnement (MMLU), mathématiques (GSM8K), code (HumanEval)
- Décidez, puis exécutez le modèle directement avec votre propre clé d'API, sans marge de revendeur ajoutée au prix du fournisseur
- Comparez des modèles locaux open-weight à des modèles de pointe hébergés pour arbitrer entre précision, confidentialité et coût
Cas d’usage
- Développeur : comparer les scores HumanEval de plusieurs modèles candidats avant d'en brancher un sur un agent de codage
- Responsable d'équipe : vérifier si un modèle local open-weight obtient un score assez proche sur MMLU et GSM8K pour l'exécuter en privé sans frais par siège
- Chercheuse : aligner dans une seule vue les scores publiés de plusieurs modèles pour choisir une valeur par défaut défendable pour un espace de travail
Questions fréquentes
Sur quels benchmarks puis-je comparer les modèles ?
Des suites standard publiées présentées côte à côte, dont MMLU (connaissances et raisonnement généraux), GSM8K (mathématiques scolaires et à plusieurs étapes) et HumanEval (génération de code), avec d'autres suites listées à leurs côtés pour que vous adaptiez la métrique à votre tâche.
osFoundry exécute-t-il les benchmarks lui-même ?
La vue compare des scores de benchmark publiés pour les modèles que vous pouvez exécuter, afin que vous choisissiez un modèle appuyé par des données. C'est une aide à la sélection de modèles : le but est un choix fondé avant d'affecter un modèle à un chat, un agent ou un pipeline.
Après avoir choisi un modèle depuis les benchmarks, comment l'utiliser ?
Les modèles que vous comparez sont ceux qu'osFoundry peut exécuter : local, cloud ou auto-hébergé. Une fois votre choix fait, vous l'utilisez avec votre propre clé d'API au prix du fournisseur, sans marge de revendeur, et les modèles locaux peuvent rester entièrement sur votre appareil.