Llama 3.1 8B Instruct
Llama 3.1 8B Instruct (Meta, 2024) è un modello chat. Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to...
by Meta · finestra di contesto da 16K token
Ideale per
- chat e routing a bassa latenza
- instradamento e triage delle richieste
- classificazione di testo
Modi per utilizzare Llama 3.1 8B Instruct in osFoundry
Si colleghi con la sua chiave (BYOK)
Apra la finestra delle chiavi e incolli la sua API key Meta. osFoundry scopre Llama 3.1 8B Instruct automaticamente — lo assegni a un ruolo Maestro (router, direct, orchestrator o fallback) nella scheda Pipeline e sarà attivo in ogni chat. La sua chiave, il suo account provider — nessun ricarico sui token.
Lo utilizzi in una Room App
Le Room App dichiarano le funzionalità AI nel loro manifest e le richiamano con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Lo richiami dalle sue applicazioni
Una volta integrato un modello nel suo workspace, può esporlo come API e raggiungerlo dai suoi servizi, script o pipeline CI — al di fuori di osFoundry.
Llama 3.1 8B Instruct a confronto con modelli simili
Licenza
Hosted — usage subject to provider terms — Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider.
Nessun peso distribuito; uso soggetto ai termini del provider.
Domande frequenti su Llama 3.1 8B Instruct
Quanto costa Llama 3.1 8B Instruct?
Llama 3.1 8B Instruct è tariffato a $ 0.020 /1M per l'input e $ 0.050 /1M per l'output. Porti la sua API key Meta — osFoundry applica i prezzi del provider senza ricarico.
Posso usare Llama 3.1 8B Instruct a scopo commerciale?
L'uso commerciale è consentito a determinate condizioni. Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider. Nessun peso distribuito; uso soggetto ai termini del provider.
Qual è la finestra di contesto di Llama 3.1 8B Instruct?
Llama 3.1 8B Instruct supporta una finestra di contesto da 16K token.
Posso eseguire Llama 3.1 8B Instruct localmente?
No — Llama 3.1 8B Instruct è disponibile solo in hosting e si accede tramite l'API di Meta.
In che cosa eccelle Llama 3.1 8B Instruct?
Llama 3.1 8B Instruct è particolarmente adatto a chat e routing a bassa latenza, instradamento e triage delle richieste, classificazione di testo.
Come utilizzo Llama 3.1 8B Instruct in osFoundry?
Incolli la sua API key Meta nella finestra delle chiavi (oppure distribuisca i pesi aperti per i modelli auto-ospitabili), assegni Llama 3.1 8B Instruct a un ruolo Maestro nella scheda Pipeline, quindi lo utilizzi in chat, nelle Room App tramite invokeAI o nelle sue applicazioni.
Pubblicato da Meta il 23 luglio 2024. Fonte: https://openrouter.ai/meta-llama/llama-3.1-8b-instruct