osFoundry / Platform
Benchmarks
Direkte Vergleichswerte über MMLU, GSM8K, HumanEval und andere. Wählen Sie ein Modell mit Datengrundlage.
Was es ist
Benchmarks ist die Modellvergleichsansicht in osFoundry, dem Bring-your-own-Key-Desktop-Workspace für KI. Sie stellt die veröffentlichten Benchmark-Ergebnisse der Modelle, die du ausführen kannst, in einer Tabelle nebeneinander. Statt aus der Schlagzeilenzahl eines Anbieters zu raten, siehst du so, wie die Modelle bei den Aufgaben abschneiden, die zu deiner Arbeit passen: MMLU für breites Wissen und Schlussfolgern, GSM8K für Schulmathematik und mehrstufiges Rechnen, HumanEval für Codegenerierung sowie weitere Standard-Suites daneben.
Weil osFoundry jedes Modell (lokal, Cloud oder selbst gehostet) aus demselben Workspace ausführt, ist der Vergleich nicht auf den Katalog eines einzigen Anbieters beschränkt. Du kannst ein gehostetes Frontier-Modell gegen ein kleineres Open-Weight-Modell abwägen, das du lokal betreibst, die Ergebnisse in denselben Spalten lesen und das Modell wählen, das die Daten für deinen Anwendungsfall tatsächlich stützen. Sobald du entschieden hast, steht dieses Modell bereits mit deinem eigenen API-Key bereit: kein Wiederverkäufer-Aufschlag auf den Anbieterpreis, und nichts von dem, was du hier bewertest, muss dein Gerät verlassen, um verglichen zu werden.
Es geht um eine begründbare Entscheidung, nicht um ein Ranking als Selbstzweck. Ein Modell, das bei MMLU führt, kann bei HumanEval zurückfallen; ein lokales Modell kann bei GSM8K nah genug liegen, sodass es die bessere Wahl ist, es privat und ohne Kosten pro Platz zu betreiben. Benchmarks macht diesen Kompromiss sichtbar, bevor du ein Modell an einen Chat, einen Agenten oder eine Pipeline bindest, sodass die Modellauswahl in osFoundry auf Zahlen statt auf Reputation beruht.
Wichtige Funktionen
- Ergebnisse nebeneinander bei MMLU, GSM8K, HumanEval und weiteren Standard-Suites in einer Vergleichstabelle
- Deckt die Modelle ab, die du in osFoundry wirklich ausführen kannst (lokal, Cloud und selbst gehostet), nicht den Katalog eines einzelnen Anbieters
- Passe den Benchmark an die Aufgabe an: Wissen und Schlussfolgern (MMLU), Mathematik (GSM8K), Code (HumanEval)
- Entscheiden und das Modell direkt mit deinem eigenen API-Key ausführen, ohne Wiederverkäufer-Aufschlag auf den Anbieterpreis
- Vergleiche lokale Open-Weight-Modelle mit gehosteten Frontier-Modellen, um Genauigkeit, Datenschutz und Kosten abzuwägen
Anwendungsfälle
- Entwicklerin: HumanEval-Werte mehrerer Kandidatenmodelle vergleichen, bevor eines in einen Coding-Agenten eingebunden wird
- Teamleiter: prüfen, ob ein lokales Open-Weight-Modell bei MMLU und GSM8K nah genug abschneidet, um es privat und ohne Kosten pro Platz zu betreiben
- Forscherin: die veröffentlichten Werte mehrerer Modelle in einer Ansicht aufreihen, um einen begründbaren Standard für einen Workspace zu wählen
Häufig gestellte Fragen
Auf welchen Benchmarks kann ich Modelle vergleichen?
Standardmäßige veröffentlichte Suites nebeneinander, darunter MMLU (breites Wissen und Schlussfolgern), GSM8K (Schul- und mehrstufige Mathematik) und HumanEval (Codegenerierung), mit weiteren Suites daneben, damit du die Metrik an deine Aufgabe anpassen kannst.
Führt osFoundry die Benchmarks selbst aus?
Die Ansicht vergleicht veröffentlichte Benchmark-Ergebnisse der Modelle, die du ausführen kannst, damit du ein datengestütztes Modell wählst. Sie ist eine Hilfe zur Modellauswahl: Ziel ist eine fundierte Entscheidung, bevor du ein Modell an einen Chat, einen Agenten oder eine Pipeline bindest.
Wie nutze ich ein Modell, nachdem ich es aus den Benchmarks ausgewählt habe?
Die Modelle, die du vergleichst, sind genau die, die osFoundry ausführen kann: lokal, Cloud oder selbst gehostet. Nach der Wahl nutzt du es mit deinem eigenen API-Key zum Anbieterpreis ohne Wiederverkäufer-Aufschlag, und lokale Modelle können vollständig auf deinem Gerät bleiben.