Llama 3.1 70B Instruct
Desenvolvido pela Meta, Llama 3.1 70B Instruct é um modelo de chat com janela de contexto de 131K tokens. Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · janela de contexto de 131K tokens
Ideal para
- chat e roteamento de baixa latência
- roteamento e triagem de requisições
- classificação de texto
Como usar Llama 3.1 70B Instruct no osFoundry
Conecte com sua própria chave (BYOK)
Abra o diálogo de chaves e cole sua chave de API da Meta. O osFoundry descobre Llama 3.1 70B Instruct automaticamente — atribua-o a um papel do Maestro (router, direct, orchestrator ou fallback) na aba Pipeline e ele estará ativo em cada chat. Sua chave, sua conta no provedor — sem markup sobre tokens.
Use em um Room App
Os Room Apps declaram recursos de IA em seus manifestos e os chamam com invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Chame a partir dos seus próprios apps
Uma vez que um modelo está conectado ao seu workspace, você pode hospedá-lo como uma API e acessá-lo a partir dos seus próprios serviços, scripts ou CI — fora do osFoundry.
Llama 3.1 70B Instruct vs modelos semelhantes
| Modelo | Organização | Parâmetros | Contexto | Preço de entrada | Auto-hospedado |
|---|
| Llama 3.1 70B Instruct | Meta | — | 131K | $ 0.400 /1M | Apenas API |
| Mistral Nemo | Mistral | — | 131K | $ 0.020 /1M | Apenas API |
| Llama 3 8B Lunaris | Sao10K | — | 8K | $ 0.040 /1M | Apenas API |
| Gemma 2 27B | Google | — | 8K | $ 0.650 /1M | Apenas API |
Licença
Hosted — usage subject to provider terms — Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor.
Sem distribuição de pesos; uso sujeito aos termos do provedor.
Perguntas frequentes sobre Llama 3.1 70B Instruct
Quanto custa Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct é cobrado a $ 0.400 /1M para entrada e $ 0.400 /1M para saída. Use sua própria chave de API da Meta — o osFoundry repassa o preço do provedor sem markup.
Posso usar Llama 3.1 70B Instruct comercialmente?
Uso comercial é permitido com condições. Modelo apenas hospedado — uso regido pelos termos de API do provedor. Use sua própria chave de provedor. Sem distribuição de pesos; uso sujeito aos termos do provedor.
Qual é a janela de contexto de Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct suporta uma janela de contexto de 131K tokens.
Posso rodar Llama 3.1 70B Instruct localmente?
Não — Llama 3.1 70B Instruct é somente hospedado e acessado via API da Meta.
Em que Llama 3.1 70B Instruct é melhor?
Llama 3.1 70B Instruct é bem adequado para chat e roteamento de baixa latência, roteamento e triagem de requisições, classificação de texto.
Como uso Llama 3.1 70B Instruct no osFoundry?
Cole sua chave de API da Meta no diálogo de chaves (ou implante os pesos abertos para modelos auto-hospedáveis), atribua Llama 3.1 70B Instruct a um papel do Maestro na aba Pipeline e use-o em chats, em Room Apps via invokeAI ou nos seus próprios apps.
Publicado pela Meta em 23 de julho de 2024. Fonte: https://openrouter.ai/meta-llama/llama-3.1-70b-instruct