WizardLM-2 8x22B
Lançado pela microsoft em 2024, WizardLM-2 8x22B é um modelo de chat. WizardLM-2 8x22B is Microsoft AI's most advanced Wizard model. It demonstrates highly competitive performance compared to leading proprietary models, and it consistently outperforms all existing state-of-the-art opensource models. It is...
by microsoft · janela de contexto de 66K tokens
Ideal para
- chat e roteamento de baixa latência
- roteamento e triagem de requisições
- classificação de texto
Como usar WizardLM-2 8x22B no osFoundry
Conecte com sua própria chave (BYOK)
Abra o diálogo de chaves e cole sua chave de API da microsoft. O osFoundry descobre WizardLM-2 8x22B automaticamente — atribua-o a um papel do Maestro (router, direct, orchestrator ou fallback) na aba Pipeline e ele estará ativo em cada chat. Sua chave, sua conta no provedor — sem markup sobre tokens.
Use em um Room App
Os Room Apps declaram recursos de IA em seus manifestos e os chamam com invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Chame a partir dos seus próprios apps
Uma vez que um modelo está conectado ao seu workspace, você pode hospedá-lo como uma API e acessá-lo a partir dos seus próprios serviços, scripts ou CI — fora do osFoundry.
WizardLM-2 8x22B vs modelos semelhantes
Licença
Hosted — usage subject to provider terms — Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor.
Sem distribuição de pesos; uso sujeito aos termos do provedor.
Perguntas frequentes sobre WizardLM-2 8x22B
Quanto custa WizardLM-2 8x22B?
WizardLM-2 8x22B é cobrado a $ 0.620 /1M para entrada e $ 0.620 /1M para saída. Use sua própria chave de API da microsoft — o osFoundry repassa o preço do provedor sem markup.
Posso usar WizardLM-2 8x22B comercialmente?
Uso comercial é permitido com condições. Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor. Sem distribuição de pesos; uso sujeito aos termos do provedor.
Qual é a janela de contexto de WizardLM-2 8x22B?
WizardLM-2 8x22B suporta uma janela de contexto de 66K tokens.
Posso rodar WizardLM-2 8x22B localmente?
Não — WizardLM-2 8x22B é somente hospedado e acessado via API da microsoft.
Em que WizardLM-2 8x22B é melhor?
WizardLM-2 8x22B é bem adequado para chat e roteamento de baixa latência, roteamento e triagem de requisições, classificação de texto.
Como uso WizardLM-2 8x22B no osFoundry?
Cole sua chave de API da microsoft no diálogo de chaves (ou implante os pesos abertos para modelos auto-hospedáveis), atribua WizardLM-2 8x22B a um papel do Maestro na aba Pipeline e use-o em chats, em Room Apps via invokeAI ou nos seus próprios apps.
Publicado pela microsoft em 16 de abril de 2024. Fonte: https://openrouter.ai/microsoft/wizardlm-2-8x22b