WizardLM-2 8x22B
Lanzado por microsoft en 2024, WizardLM-2 8x22B es un modelo de chat. WizardLM-2 8x22B is Microsoft AI's most advanced Wizard model. It demonstrates highly competitive performance compared to leading proprietary models, and it consistently outperforms all existing state-of-the-art opensource models. It is...
by microsoft · ventana de contexto de 66K tokens
Ideal para
- chat y enrutamiento de baja latencia
- enrutamiento y triaje de solicitudes
- clasificación de texto
Formas de utilizar WizardLM-2 8x22B en osFoundry
Conecten con su propia clave (BYOK)
Abran el diálogo de claves y peguen su clave de API de microsoft. osFoundry detecta WizardLM-2 8x22B automáticamente: asígnenlo a un rol de Maestro (router, direct, orchestrator o fallback) en la pestaña Pipeline y quedará activo en cada chat. Su clave, su cuenta de proveedor: sin recargo por tokens.
Úsenlo en una Room App
Las Room Apps declaran funciones de IA en su manifiesto y luego las invocan con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Invóquenlo desde sus propias aplicaciones
Una vez que un modelo está integrado en su workspace, pueden alojarlo como API y consumirlo desde sus propios servicios, scripts o CI, fuera de osFoundry.
WizardLM-2 8x22B frente a modelos similares
Licencia
Hosted — usage subject to provider terms — Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor.
No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
Preguntas frecuentes sobre WizardLM-2 8x22B
¿Cuánto cuesta WizardLM-2 8x22B?
WizardLM-2 8x22B se factura a $ 0.620 /1M por entrada y $ 0.620 /1M por salida. Aporten su propia clave de API de microsoft: osFoundry traslada el precio del proveedor sin recargo.
¿Puedo utilizar WizardLM-2 8x22B comercialmente?
El uso comercial está permitido con condiciones. Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor. No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
¿Cuál es la ventana de contexto de WizardLM-2 8x22B?
WizardLM-2 8x22B admite una ventana de contexto de 66K tokens.
¿Puedo ejecutar WizardLM-2 8x22B localmente?
No: WizardLM-2 8x22B es solo alojado y se accede a través de la API de microsoft.
¿En qué destaca WizardLM-2 8x22B?
WizardLM-2 8x22B es muy adecuado para chat y enrutamiento de baja latencia, enrutamiento y triaje de solicitudes, clasificación de texto.
¿Cómo se utiliza WizardLM-2 8x22B en osFoundry?
Peguen su clave de API de microsoft en el diálogo de claves (o desplieguen los pesos abiertos para modelos autoalojables), asignen WizardLM-2 8x22B a un rol de Maestro en la pestaña Pipeline y úsenlo en chat, en Room Apps mediante invokeAI o en sus propias aplicaciones.
Publicado por microsoft el 16 de abril de 2024. Fuente: https://openrouter.ai/microsoft/wizardlm-2-8x22b