Llama 3.2 3B Instruct
Llama 3.2 3B Instruct è un modello chat di Meta, rilasciato il 25 settembre 2024. Llama 3.2 3B is a 3-billion-parameter multilingual large language model, optimized for advanced natural language processing tasks like dialogue generation, reasoning, and summarization. Designed with the latest transformer architecture, it...
by Meta · finestra di contesto da 80K token
Ideale per
- chat e routing a bassa latenza
- instradamento e triage delle richieste
- classificazione di testo
Modi per utilizzare Llama 3.2 3B Instruct in osFoundry
Si colleghi con la sua chiave (BYOK)
Apra la finestra delle chiavi e incolli la sua API key Meta. osFoundry scopre Llama 3.2 3B Instruct automaticamente — lo assegni a un ruolo Maestro (router, direct, orchestrator o fallback) nella scheda Pipeline e sarà attivo in ogni chat. La sua chiave, il suo account provider — nessun ricarico sui token.
Lo utilizzi in una Room App
Le Room App dichiarano le funzionalità AI nel loro manifest e le richiamano con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Lo richiami dalle sue applicazioni
Una volta integrato un modello nel suo workspace, può esporlo come API e raggiungerlo dai suoi servizi, script o pipeline CI — al di fuori di osFoundry.
Esegua Llama 3.2 3B Instruct in autonomia
Llama 3.2 3B Instruct è disponibile anche come open weights — lo ospiti in autonomia per il pieno controllo dei dati e nessun costo per token. Consulti quella pagina per i requisiti GPU e un confronto dei costi con i prezzi delle API.
Llama 3.2 3B Instruct a confronto con modelli simili
Licenza
Hosted — usage subject to provider terms — Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider.
Nessun peso distribuito; uso soggetto ai termini del provider.
Domande frequenti su Llama 3.2 3B Instruct
Quanto costa Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct è tariffato a $ 0.051 /1M per l'input e $ 0.340 /1M per l'output. Porti la sua API key Meta — osFoundry applica i prezzi del provider senza ricarico.
Posso usare Llama 3.2 3B Instruct a scopo commerciale?
L'uso commerciale è consentito a determinate condizioni. Modello solo in hosting — l'uso è regolato dai termini API del provider. Porti la sua chiave del provider. Nessun peso distribuito; uso soggetto ai termini del provider.
Qual è la finestra di contesto di Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct supporta una finestra di contesto da 80K token.
Posso eseguire Llama 3.2 3B Instruct localmente?
No — Llama 3.2 3B Instruct è disponibile solo in hosting e si accede tramite l'API di Meta. È disponibile un equivalente open-weights da ospitare in autonomia — veda il collegamento qui sopra.
In che cosa eccelle Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct è particolarmente adatto a chat e routing a bassa latenza, instradamento e triage delle richieste, classificazione di testo.
Come utilizzo Llama 3.2 3B Instruct in osFoundry?
Incolli la sua API key Meta nella finestra delle chiavi (oppure distribuisca i pesi aperti per i modelli auto-ospitabili), assegni Llama 3.2 3B Instruct a un ruolo Maestro nella scheda Pipeline, quindi lo utilizzi in chat, nelle Room App tramite invokeAI o nelle sue applicazioni.
Pubblicato da Meta il 25 settembre 2024. Fonte: https://openrouter.ai/meta-llama/llama-3.2-3b-instruct