osFoundry / Platform
Benchmarks
Puntuaciones lado a lado en MMLU, GSM8K, HumanEval y otros. Elige un modelo con datos.
Qué es
Benchmarks es la vista de comparación de modelos de osFoundry, el espacio de trabajo de IA de escritorio que funciona con tu propia clave (BYOK). Coloca en una misma tabla las puntuaciones de benchmark publicadas de los modelos que puedes ejecutar, de modo que, en lugar de adivinar a partir del número destacado de un proveedor, ves cómo se comparan en las tareas que corresponden a tu trabajo: MMLU para conocimiento y razonamiento general, GSM8K para matemáticas de nivel escolar y cálculo de varios pasos, HumanEval para generación de código y otras suites estándar junto a ellas.
Como osFoundry ejecuta cualquier modelo (local, en la nube o autoalojado) desde el mismo espacio de trabajo, la comparación no se limita al catálogo de un solo proveedor. Puedes contrastar un modelo frontera alojado frente a un modelo open-weight más pequeño que ejecutas en local, leer las puntuaciones en las mismas columnas y elegir el que los datos respaldan de verdad para tu caso. Una vez que decides, ese modelo ya está disponible con tu propia clave de API: sin recargo de reventa sobre el precio del proveedor, y sin que nada de lo que evalúas tenga que salir de tu dispositivo para compararse.
El objetivo es una elección defendible, no una tabla de clasificación por sí misma. Un modelo que lidera en MMLU puede quedarse atrás en HumanEval; un modelo local puede acercarse lo suficiente en GSM8K como para que ejecutarlo de forma privada y sin coste por asiento sea la mejor opción. Benchmarks hace visible ese compromiso antes de que asignes un modelo a un chat, un agente o un pipeline, para que la selección de modelos en osFoundry se base en cifras y no en reputación.
Capacidades principales
- Puntuaciones lado a lado en MMLU, GSM8K, HumanEval y otras suites estándar en una sola tabla comparativa
- Cubre los modelos que realmente puedes ejecutar en osFoundry (local, nube y autoalojados), no el catálogo de un único proveedor
- Ajusta el benchmark a la tarea: conocimiento y razonamiento (MMLU), matemáticas (GSM8K), código (HumanEval)
- Decide y ejecuta el modelo directamente con tu propia clave de API, sin recargo de reventa sobre el precio del proveedor
- Compara modelos locales open-weight frente a modelos frontera alojados para equilibrar precisión, privacidad y coste
Casos de uso
- Desarrollador: compara las puntuaciones de HumanEval entre modelos candidatos antes de conectar uno a un agente de programación
- Responsable de equipo: comprueba si un modelo local open-weight puntúa lo suficientemente cerca en MMLU y GSM8K para ejecutarlo de forma privada sin costes por asiento
- Investigador: alinea en una sola vista las puntuaciones publicadas de varios modelos para elegir un valor por defecto defendible para un espacio de trabajo
Preguntas frecuentes
¿En qué benchmarks puedo comparar los modelos?
Suites estándar publicadas mostradas lado a lado, incluidas MMLU (conocimiento y razonamiento general), GSM8K (matemáticas escolares y de varios pasos) y HumanEval (generación de código), con otras suites listadas junto a ellas para que ajustes la métrica a tu tarea.
¿osFoundry ejecuta los benchmarks por sí mismo?
La vista compara puntuaciones de benchmark publicadas de los modelos que puedes ejecutar, para que elijas un modelo respaldado por datos. Es una ayuda a la selección de modelos: el objetivo es una elección fundamentada antes de asignar un modelo a un chat, un agente o un pipeline.
Después de elegir un modelo desde los benchmarks, ¿cómo lo uso?
Los modelos que comparas son los que osFoundry puede ejecutar: local, en la nube o autoalojados. Una vez que eliges, lo usas con tu propia clave de API al precio del proveedor y sin recargo de reventa, y los modelos locales pueden quedarse por completo en tu dispositivo.