WizardLM-2 8x22B
Rilasciato da microsoft nel 2024, WizardLM-2 8x22B è un modello chat. WizardLM-2 8x22B is Microsoft AI's most advanced Wizard model. It demonstrates highly competitive performance compared to leading proprietary models, and it consistently outperforms all existing state-of-the-art opensource models. It is...
by microsoft · finestra di contesto da 66K token
Ideale per
- chat e routing a bassa latenza
- instradamento e triage delle richieste
- classificazione di testo
Modi per utilizzare WizardLM-2 8x22B in osFoundry
Si colleghi con la sua chiave (BYOK)
Apra la finestra delle chiavi e incolli la sua API key microsoft. osFoundry scopre WizardLM-2 8x22B automaticamente — lo assegni a un ruolo Maestro (router, direct, orchestrator o fallback) nella scheda Pipeline e sarà attivo in ogni chat. La sua chiave, il suo account provider — nessun ricarico sui token.
Lo utilizzi in una Room App
Le Room App dichiarano le funzionalità AI nel loro manifest e le richiamano con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Lo richiami dalle sue applicazioni
Una volta integrato un modello nel suo workspace, può esporlo come API e raggiungerlo dai suoi servizi, script o pipeline CI — al di fuori di osFoundry.
WizardLM-2 8x22B a confronto con modelli simili
Licenza
Hosted — usage subject to provider terms — Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider.
Nessun peso distribuito; uso soggetto ai termini del provider.
Domande frequenti su WizardLM-2 8x22B
Quanto costa WizardLM-2 8x22B?
WizardLM-2 8x22B è tariffato a $ 0.620 /1M per l'input e $ 0.620 /1M per l'output. Porti la sua API key microsoft — osFoundry applica i prezzi del provider senza ricarico.
Posso usare WizardLM-2 8x22B a scopo commerciale?
L'uso commerciale è consentito a determinate condizioni. Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider. Nessun peso distribuito; uso soggetto ai termini del provider.
Qual è la finestra di contesto di WizardLM-2 8x22B?
WizardLM-2 8x22B supporta una finestra di contesto da 66K token.
Posso eseguire WizardLM-2 8x22B localmente?
No — WizardLM-2 8x22B è disponibile solo in hosting e si accede tramite l'API di microsoft.
In che cosa eccelle WizardLM-2 8x22B?
WizardLM-2 8x22B è particolarmente adatto a chat e routing a bassa latenza, instradamento e triage delle richieste, classificazione di testo.
Come utilizzo WizardLM-2 8x22B in osFoundry?
Incolli la sua API key microsoft nella finestra delle chiavi (oppure distribuisca i pesi aperti per i modelli auto-ospitabili), assegni WizardLM-2 8x22B a un ruolo Maestro nella scheda Pipeline, quindi lo utilizzi in chat, nelle Room App tramite invokeAI o nelle sue applicazioni.
Pubblicato da microsoft il 16 aprile 2024. Fonte: https://openrouter.ai/microsoft/wizardlm-2-8x22b