osFoundry / Platform
벤치마크
MMLU, GSM8K, HumanEval 등에서의 점수를 나란히 비교하세요. 데이터로 모델을 선택하세요.
개요
Benchmarks는 자체 키를 사용하는(BYOK) 데스크톱 AI 워크스페이스 osFoundry의 모델 비교 뷰입니다. 실행할 수 있는 모델들의 공개 벤치마크 점수를 하나의 표에 나란히 놓아 주므로, 벤더가 내세우는 대표 수치만으로 추측하는 대신 내 업무에 대응하는 작업에서 모델들이 어떻게 견주어지는지 확인할 수 있습니다. 폭넓은 지식과 추론은 MMLU, 초등 수준 수학과 다단계 산술은 GSM8K, 코드 생성은 HumanEval, 그리고 그 외 표준 벤치마크가 함께 놓입니다.
osFoundry는 로컬, 클라우드, 자체 호스팅 등 어떤 모델이든 같은 워크스페이스에서 실행하므로 비교가 특정 공급자의 카탈로그에 얽매이지 않습니다. 호스팅된 프런티어 모델과 로컬에서 돌리는 더 작은 open-weight 모델을 같은 열의 점수로 견주어 보고, 내 용도에 대해 데이터가 실제로 뒷받침하는 모델을 고를 수 있습니다. 일단 정하면 그 모델은 이미 내 API 키로 바로 사용할 수 있습니다. 공급자 가격에 리셀러 마진이 얹히지 않으며, 여기서 평가하는 어떤 것도 비교를 위해 기기 밖으로 나갈 필요가 없습니다.
핵심은 리더보드 그 자체가 아니라 설명 가능한 선택입니다. MMLU에서 1위인 모델이 HumanEval에서는 뒤처질 수 있고, 로컬 모델이 GSM8K에서 충분히 근접한 점수를 내어 좌석당 비용 없이 비공개로 돌리는 편이 더 나은 선택이 되기도 합니다. Benchmarks는 모델을 채팅, 에이전트, 파이프라인에 투입하기 전에 이런 트레이드오프를 눈에 보이게 만들어, osFoundry의 모델 선택이 평판이 아니라 수치에 근거하도록 합니다.
주요 기능
- MMLU, GSM8K, HumanEval 및 기타 표준 벤치마크 점수를 하나의 비교 표에 나란히 표시
- osFoundry에서 실제로 실행할 수 있는 모델(로컬, 클라우드, 자체 호스팅)을 다루며, 특정 공급자의 카탈로그에 한정되지 않음
- 작업에 맞는 벤치마크를 선택: 지식과 추론은 MMLU, 수학은 GSM8K, 코드는 HumanEval
- 결정한 뒤 내 API 키로 모델을 직접 실행하며, 공급자 가격에 리셀러 마진이 붙지 않음
- 로컬 open-weight 모델과 호스팅 프런티어 모델을 비교해 정확도, 프라이버시, 비용을 저울질
활용 사례
- 개발자: 코딩 에이전트에 연결하기 전에 후보 모델들의 HumanEval 점수를 비교
- 팀 리드: 로컬 open-weight 모델이 MMLU와 GSM8K에서 충분히 근접한 점수를 내어 좌석당 비용 없이 비공개로 돌릴 수 있는지 확인
- 연구자: 여러 모델의 공개 점수를 한 화면에 정렬해 워크스페이스의 설명 가능한 기본값을 선택
자주 묻는 질문
어떤 벤치마크로 모델을 비교할 수 있나요?
나란히 표시되는 표준 공개 벤치마크로, MMLU(폭넓은 지식과 추론), GSM8K(초등 및 다단계 수학), HumanEval(코드 생성)이 포함되며, 그 옆에 다른 벤치마크도 함께 나열되어 지표를 작업에 맞출 수 있습니다.
osFoundry가 벤치마크를 직접 실행하나요?
이 뷰는 실행할 수 있는 모델들의 공개 벤치마크 점수를 비교하여 데이터가 뒷받침하는 모델을 고르도록 돕습니다. 모델 선택 보조 도구로서, 목표는 모델을 채팅, 에이전트, 파이프라인에 투입하기 전에 근거 있는 선택을 내리는 것입니다.
벤치마크에서 모델을 고른 뒤 어떻게 사용하나요?
비교하는 모델은 곧 osFoundry가 실행할 수 있는 모델입니다. 로컬, 클라우드, 자체 호스팅 중 하나죠. 선택한 뒤에는 내 API 키로 공급자 가격 그대로, 리셀러 마진 없이 사용하며, 로컬 모델은 전부 기기 안에 머물 수 있습니다.