osFoundry / Platform
Benchmark
Skor berdampingan di MMLU, GSM8K, HumanEval, dan lainnya. Pilih model dengan data.
Apa itu
Benchmarks adalah tampilan perbandingan model di osFoundry, ruang kerja AI desktop bring-your-own-key (BYOK). Tampilan ini menaruh skor benchmark yang telah dipublikasikan untuk model-model yang bisa Anda jalankan secara berdampingan dalam satu tabel, sehingga alih-alih menebak dari angka andalan sebuah vendor, Anda melihat bagaimana model-model itu bersaing pada tugas yang sesuai dengan pekerjaan Anda: MMLU untuk pengetahuan dan penalaran luas, GSM8K untuk matematika tingkat sekolah dan aritmetika bertahap, HumanEval untuk pembuatan kode, serta suite standar lain di sampingnya.
Karena osFoundry menjalankan model apa pun (lokal, cloud, atau self-hosted) dari ruang kerja yang sama, perbandingannya tidak terbatas pada katalog satu penyedia saja. Anda bisa menimbang model frontier yang di-hosting terhadap model open-weight yang lebih kecil yang Anda jalankan secara lokal, membaca skornya di kolom yang sama, dan memilih yang benar-benar didukung data untuk kasus penggunaan Anda. Setelah memutuskan, model itu sudah siap digunakan dengan API key Anda sendiri: tanpa markup reseller di atas harga penyedia, dan tidak ada yang Anda evaluasi di sini perlu meninggalkan perangkat Anda untuk dibandingkan.
Intinya adalah pilihan yang bisa dipertanggungjawabkan, bukan papan peringkat demi papan peringkat itu sendiri. Model yang memuncaki MMLU bisa saja tertinggal di HumanEval; model lokal bisa saja mencetak skor cukup dekat pada GSM8K sehingga menjalankannya secara privat tanpa biaya per kursi menjadi pilihan yang lebih baik. Benchmarks membuat trade-off itu terlihat sebelum Anda menetapkan model untuk chat, agen, atau pipeline, sehingga pemilihan model di osFoundry berpijak pada angka, bukan reputasi.
Kemampuan utama
- Skor berdampingan pada MMLU, GSM8K, HumanEval, dan suite standar lain dalam satu tabel perbandingan
- Mencakup model yang benar-benar bisa Anda jalankan di osFoundry (lokal, cloud, dan self-hosted), bukan katalog satu penyedia
- Cocokkan benchmark dengan pekerjaan: pengetahuan dan penalaran (MMLU), matematika (GSM8K), kode (HumanEval)
- Putuskan, lalu jalankan model langsung dengan API key Anda sendiri, tanpa markup reseller di atas harga penyedia
- Bandingkan model lokal open-weight dengan model frontier yang di-hosting untuk menyeimbangkan akurasi, privasi, dan biaya
Kasus penggunaan
- Developer: membandingkan skor HumanEval antar model kandidat sebelum menyambungkan salah satunya ke agen coding
- Team lead: memeriksa apakah model lokal open-weight mencetak skor cukup dekat pada MMLU dan GSM8K untuk dijalankan secara privat tanpa biaya per kursi
- Peneliti: menjajarkan skor publikasi beberapa model dalam satu tampilan untuk memilih default yang dapat dipertanggungjawabkan bagi sebuah ruang kerja
Pertanyaan yang sering diajukan
Pada benchmark apa saja saya bisa membandingkan model?
Suite standar yang telah dipublikasikan ditampilkan berdampingan, termasuk MMLU (pengetahuan dan penalaran luas), GSM8K (matematika sekolah dan bertahap), serta HumanEval (pembuatan kode), dengan suite lain terdaftar di sampingnya agar Anda bisa mencocokkan metrik dengan tugas Anda.
Apakah osFoundry menjalankan benchmark-nya sendiri?
Tampilan ini membandingkan skor benchmark yang telah dipublikasikan untuk model yang bisa Anda jalankan, sehingga Anda bisa memilih model yang didukung data. Ini adalah alat bantu pemilihan model: tujuannya adalah pilihan yang berpijak sebelum Anda menetapkan model untuk chat, agen, atau pipeline.
Setelah memilih model dari benchmark, bagaimana cara menggunakannya?
Model yang Anda bandingkan adalah model yang bisa dijalankan osFoundry: lokal, cloud, atau self-hosted. Setelah memilih, Anda menggunakannya dengan API key Anda sendiri pada harga penyedia tanpa markup reseller, dan model lokal bisa sepenuhnya tetap di perangkat Anda.