Llama 3 8B Instruct
Lançado pela Meta em 2024, Llama 3 8B Instruct é um modelo de chat. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 8B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · janela de contexto de 8K tokens
Ideal para
- chat e roteamento de baixa latência
- roteamento e triagem de requisições
- classificação de texto
Como usar Llama 3 8B Instruct no osFoundry
Conecte com sua própria chave (BYOK)
Abra o diálogo de chaves e cole sua chave de API da Meta. O osFoundry descobre Llama 3 8B Instruct automaticamente — atribua-o a um papel do Maestro (router, direct, orchestrator ou fallback) na aba Pipeline e ele estará ativo em cada chat. Sua chave, sua conta no provedor — sem markup sobre tokens.
Use em um Room App
Os Room Apps declaram recursos de IA em seus manifestos e os chamam com invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Chame a partir dos seus próprios apps
Uma vez que um modelo está conectado ao seu workspace, você pode hospedá-lo como uma API e acessá-lo a partir dos seus próprios serviços, scripts ou CI — fora do osFoundry.
Execute Llama 3 8B Instruct por conta própria
Llama 3 8B Instruct também está disponível como open weights — auto-hospede para controle total dos dados e sem custo por token. Veja essa página para requisitos de GPU e uma comparação de custos com o preço da API.
Llama 3 8B Instruct vs modelos semelhantes
Licença
Hosted — usage subject to provider terms — Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor.
Sem distribuição de pesos; uso sujeito aos termos do provedor.
Perguntas frequentes sobre Llama 3 8B Instruct
Quanto custa Llama 3 8B Instruct?
Llama 3 8B Instruct é cobrado a $ 0.040 /1M para entrada e $ 0.040 /1M para saída. Use sua própria chave de API da Meta — o osFoundry repassa o preço do provedor sem markup.
Posso usar Llama 3 8B Instruct comercialmente?
Uso comercial é permitido com condições. Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor. Sem distribuição de pesos; uso sujeito aos termos do provedor.
Qual é a janela de contexto de Llama 3 8B Instruct?
Llama 3 8B Instruct suporta uma janela de contexto de 8K tokens.
Posso rodar Llama 3 8B Instruct localmente?
Não — Llama 3 8B Instruct é somente hospedado e acessado via API da Meta. Há um equivalente open-weights disponível para auto-hospedagem — veja o link cruzado acima.
Em que Llama 3 8B Instruct é melhor?
Llama 3 8B Instruct é bem adequado para chat e roteamento de baixa latência, roteamento e triagem de requisições, classificação de texto.
Como uso Llama 3 8B Instruct no osFoundry?
Cole sua chave de API da Meta no diálogo de chaves (ou implante os pesos abertos para modelos auto-hospedáveis), atribua Llama 3 8B Instruct a um papel do Maestro na aba Pipeline e use-o em chats, em Room Apps via invokeAI ou nos seus próprios apps.
Publicado pela Meta em 18 de abril de 2024. Fonte: https://openrouter.ai/meta-llama/llama-3-8b-instruct