osFoundry / Platform
Benchmark
Punteggi affiancati su MMLU, GSM8K, HumanEval e altri. Scegli un modello con i dati alla mano.
Che cos’è
Benchmarks è la vista di confronto dei modelli in osFoundry, lo spazio di lavoro IA desktop che funziona con la tua chiave (BYOK). Mette in un'unica tabella i punteggi di benchmark pubblicati dei modelli che puoi eseguire, così, invece di tirare a indovinare dal numero di punta di un fornitore, vedi come i modelli si collocano sui compiti che corrispondono al tuo lavoro: MMLU per conoscenza e ragionamento ampi, GSM8K per la matematica di livello scolastico e il calcolo a più passaggi, HumanEval per la generazione di codice e altre suite standard accanto a queste.
Poiché osFoundry esegue qualsiasi modello (locale, cloud o self-hosted) dallo stesso spazio di lavoro, il confronto non è limitato al catalogo di un solo fornitore. Puoi soppesare un modello di frontiera in hosting rispetto a un modello open-weight più piccolo che esegui in locale, leggere i punteggi nelle stesse colonne e scegliere quello che i dati sostengono davvero per il tuo caso d'uso. Una volta deciso, quel modello è già disponibile con la tua chiave API: nessun ricarico di rivendita sopra il prezzo del fornitore, e nulla di ciò che valuti qui deve lasciare il tuo dispositivo per essere confrontato.
L'obiettivo è una scelta difendibile, non una classifica fine a se stessa. Un modello in testa su MMLU può restare indietro su HumanEval; un modello locale può ottenere un punteggio abbastanza vicino su GSM8K da rendere migliore la scelta di eseguirlo in privato e senza costi per postazione. Benchmarks rende visibile questo compromesso prima di assegnare un modello a una chat, a un agente o a una pipeline, così la selezione dei modelli in osFoundry si fonda sui numeri anziché sulla reputazione.
Funzionalità principali
- Punteggi fianco a fianco su MMLU, GSM8K, HumanEval e altre suite standard in un'unica tabella di confronto
- Copre i modelli che puoi davvero eseguire in osFoundry (locali, cloud e self-hosted), non il catalogo di un singolo fornitore
- Abbina il benchmark al compito: conoscenza e ragionamento (MMLU), matematica (GSM8K), codice (HumanEval)
- Decidi ed esegui il modello direttamente con la tua chiave API, senza ricarico di rivendita sopra il prezzo del fornitore
- Confronta modelli locali open-weight con modelli di frontiera in hosting per bilanciare accuratezza, privacy e costo
Casi d’uso
- Sviluppatore: confrontare i punteggi HumanEval di più modelli candidati prima di collegarne uno a un agente di coding
- Team lead: verificare se un modello locale open-weight ottiene un punteggio abbastanza vicino su MMLU e GSM8K da eseguirlo in privato senza costi per postazione
- Ricercatrice: allineare in un'unica vista i punteggi pubblicati di più modelli per scegliere un default difendibile per uno spazio di lavoro
Domande frequenti
Su quali benchmark posso confrontare i modelli?
Suite standard pubblicate mostrate fianco a fianco, tra cui MMLU (conoscenza e ragionamento ampi), GSM8K (matematica scolastica e a più passaggi) e HumanEval (generazione di codice), con altre suite elencate accanto per abbinare la metrica al tuo compito.
osFoundry esegue i benchmark da sé?
La vista confronta i punteggi di benchmark pubblicati dei modelli che puoi eseguire, così puoi scegliere un modello sostenuto dai dati. È un aiuto alla selezione dei modelli: l'obiettivo è una scelta fondata prima di assegnare un modello a una chat, un agente o una pipeline.
Dopo aver scelto un modello dai benchmark, come lo uso?
I modelli che confronti sono quelli che osFoundry può eseguire: locali, cloud o self-hosted. Una volta scelto, lo usi con la tua chiave API al prezzo del fornitore senza ricarico di rivendita, e i modelli locali possono restare interamente sul tuo dispositivo.