osFoundry / Platform
Бенчмарки
Сравнения по MMLU, GSM8K, HumanEval и другим. Выбирайте модель на основании данных.
Что это
Benchmarks — это представление для сравнения моделей в osFoundry, десктопном рабочем пространстве для ИИ, работающем с вашим собственным ключом (BYOK). Оно помещает опубликованные оценки бенчмарков для моделей, которые вы можете запускать, рядом друг с другом в одной таблице, так что вместо того чтобы гадать по громкой цифре поставщика, вы видите, как модели выстраиваются на задачах, соответствующих вашей работе: MMLU для широких знаний и рассуждений, GSM8K для школьной математики и многошаговых вычислений, HumanEval для генерации кода, а рядом с ними и другие стандартные наборы.
Поскольку osFoundry запускает любую модель (локальную, облачную или на собственном хостинге) из одного рабочего пространства, сравнение не ограничено каталогом одного поставщика. Вы можете взвесить размещённую фронтир-модель против меньшей open-weight модели, которую запускаете локально, прочитать оценки в тех же столбцах и выбрать ту, которую данные действительно поддерживают для вашей задачи. Как только вы решили, эта модель уже доступна для работы с вашим собственным API-ключом: без наценки реселлера поверх цены поставщика, и ничему из того, что вы здесь оцениваете, не нужно покидать ваше устройство ради сравнения.
Смысл в обоснованном выборе, а не в таблице лидеров ради неё самой. Модель, лидирующая в MMLU, может отставать в HumanEval; локальная модель может набрать в GSM8K достаточно близкий результат, чтобы запускать её приватно и без платы за место оказалось лучшим решением. Benchmarks делает этот компромисс видимым до того, как вы отдадите модель в чат, агент или конвейер, так что выбор модели в osFoundry опирается на цифры, а не на репутацию.
Ключевые возможности
- Оценки бок о бок по MMLU, GSM8K, HumanEval и другим стандартным наборам в одной сравнительной таблице
- Охватывает модели, которые вы действительно можете запускать в osFoundry (локальные, облачные и на собственном хостинге), а не каталог одного поставщика
- Подбирайте бенчмарк под задачу: знания и рассуждения (MMLU), математика (GSM8K), код (HumanEval)
- Решите и запускайте модель напрямую со своим API-ключом, без наценки реселлера поверх цены поставщика
- Сравнивайте локальные open-weight модели с размещёнными фронтир-моделями, чтобы найти баланс точности, приватности и стоимости
Сценарии использования
- Разработчик: сравнить оценки HumanEval у нескольких моделей-кандидатов, прежде чем подключить одну к кодинг-агенту
- Тимлид: проверить, набирает ли локальная open-weight модель достаточно близкий результат по MMLU и GSM8K, чтобы запускать её приватно без платы за место
- Исследователь: выстроить опубликованные оценки нескольких моделей в одном представлении, чтобы выбрать обоснованное значение по умолчанию для рабочего пространства
Часто задаваемые вопросы
По каким бенчмаркам я могу сравнивать модели?
Стандартные опубликованные наборы, показанные бок о бок, включая MMLU (широкие знания и рассуждения), GSM8K (школьная и многошаговая математика) и HumanEval (генерация кода), а рядом перечислены и другие наборы, чтобы вы могли подобрать метрику под свою задачу.
Запускает ли osFoundry бенчмарки сам?
Это представление сравнивает опубликованные оценки бенчмарков для моделей, которые вы можете запускать, чтобы вы выбрали модель, подкреплённую данными. Это помощник по выбору модели: цель — обоснованный выбор до того, как вы отдадите модель в чат, агент или конвейер.
После того как я выбрал модель по бенчмаркам, как её использовать?
Модели, которые вы сравниваете, — это те, что osFoundry может запускать: локальные, облачные или на собственном хостинге. Выбрав, вы используете её со своим API-ключом по цене поставщика без наценки реселлера, а локальные модели могут полностью оставаться на вашем устройстве.