Llama 3 70B Instruct
Realizzato da Meta, Llama 3 70B Instruct è un modello chat con una finestra di contesto da 8K token. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 70B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · finestra di contesto da 8K token
Ideale per
- chat e routing a bassa latenza
- instradamento e triage delle richieste
- classificazione di testo
Modi per utilizzare Llama 3 70B Instruct in osFoundry
Si colleghi con la sua chiave (BYOK)
Apra la finestra delle chiavi e incolli la sua API key Meta. osFoundry scopre Llama 3 70B Instruct automaticamente — lo assegni a un ruolo Maestro (router, direct, orchestrator o fallback) nella scheda Pipeline e sarà attivo in ogni chat. La sua chiave, il suo account provider — nessun ricarico sui token.
Lo utilizzi in una Room App
Le Room App dichiarano le funzionalità AI nel loro manifest e le richiamano con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Lo richiami dalle sue applicazioni
Una volta integrato un modello nel suo workspace, può esporlo come API e raggiungerlo dai suoi servizi, script o pipeline CI — al di fuori di osFoundry.
Esegua Llama 3 70B Instruct in autonomia
Llama 3 70B Instruct è disponibile anche come open weights — lo ospiti in autonomia per il pieno controllo dei dati e nessun costo per token. Consulti quella pagina per i requisiti GPU e un confronto dei costi con i prezzi delle API.
Llama 3 70B Instruct a confronto con modelli simili
Licenza
Hosted — usage subject to provider terms — Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider.
Nessun peso distribuito; uso soggetto ai termini del provider.
Domande frequenti su Llama 3 70B Instruct
Quanto costa Llama 3 70B Instruct?
Llama 3 70B Instruct è tariffato a $ 0.510 /1M per l'input e $ 0.740 /1M per l'output. Porti la sua API key Meta — osFoundry applica i prezzi del provider senza ricarico.
Posso usare Llama 3 70B Instruct a scopo commerciale?
L'uso commerciale è consentito a determinate condizioni. Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider. Nessun peso distribuito; uso soggetto ai termini del provider.
Qual è la finestra di contesto di Llama 3 70B Instruct?
Llama 3 70B Instruct supporta una finestra di contesto da 8K token.
Posso eseguire Llama 3 70B Instruct localmente?
No — Llama 3 70B Instruct è disponibile solo in hosting e si accede tramite l'API di Meta. È disponibile un equivalente open-weights da ospitare in autonomia — veda il collegamento qui sopra.
In che cosa eccelle Llama 3 70B Instruct?
Llama 3 70B Instruct è particolarmente adatto a chat e routing a bassa latenza, instradamento e triage delle richieste, classificazione di testo.
Come utilizzo Llama 3 70B Instruct in osFoundry?
Incolli la sua API key Meta nella finestra delle chiavi (oppure distribuisca i pesi aperti per i modelli auto-ospitabili), assegni Llama 3 70B Instruct a un ruolo Maestro nella scheda Pipeline, quindi lo utilizzi in chat, nelle Room App tramite invokeAI o nelle sue applicazioni.
Pubblicato da Meta il 18 aprile 2024. Fonte: https://openrouter.ai/meta-llama/llama-3-70b-instruct