Llama 3.1 70B Instruct
Desarrollado por Meta, Llama 3.1 70B Instruct es un modelo de chat con una ventana de contexto de 131K tokens. Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · ventana de contexto de 131K tokens
Ideal para
- chat y enrutamiento de baja latencia
- enrutamiento y triaje de solicitudes
- clasificación de texto
Formas de utilizar Llama 3.1 70B Instruct en osFoundry
Conecten con su propia clave (BYOK)
Abran el diálogo de claves y peguen su clave de API de Meta. osFoundry detecta Llama 3.1 70B Instruct automáticamente: asígnenlo a un rol de Maestro (router, direct, orchestrator o fallback) en la pestaña Pipeline y quedará activo en cada chat. Su clave, su cuenta de proveedor: sin recargo por tokens.
Úsenlo en una Room App
Las Room Apps declaran funciones de IA en su manifiesto y luego las invocan con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Invóquenlo desde sus propias aplicaciones
Una vez que un modelo está integrado en su workspace, pueden alojarlo como API y consumirlo desde sus propios servicios, scripts o CI, fuera de osFoundry.
Llama 3.1 70B Instruct frente a modelos similares
| Modelo | Organización | Parámetros | Contexto | Precio de entrada | Autoalojamiento |
|---|
| Llama 3.1 70B Instruct | Meta | — | 131K | $ 0.400 /1M | Solo API |
| Mistral Nemo | Mistral | — | 131K | $ 0.020 /1M | Solo API |
| Llama 3 8B Lunaris | Sao10K | — | 8K | $ 0.040 /1M | Solo API |
| Gemma 2 27B | Google | — | 8K | $ 0.650 /1M | Solo API |
Licencia
Hosted — usage subject to provider terms — Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor.
No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
Preguntas frecuentes sobre Llama 3.1 70B Instruct
¿Cuánto cuesta Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct se factura a $ 0.400 /1M por entrada y $ 0.400 /1M por salida. Aporten su propia clave de API de Meta: osFoundry traslada el precio del proveedor sin recargo.
¿Puedo utilizar Llama 3.1 70B Instruct comercialmente?
El uso comercial está permitido con condiciones. Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor. No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
¿Cuál es la ventana de contexto de Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct admite una ventana de contexto de 131K tokens.
¿Puedo ejecutar Llama 3.1 70B Instruct localmente?
No: Llama 3.1 70B Instruct es solo alojado y se accede a través de la API de Meta.
¿En qué destaca Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct es muy adecuado para chat y enrutamiento de baja latencia, enrutamiento y triaje de solicitudes, clasificación de texto.
¿Cómo se utiliza Llama 3.1 70B Instruct en osFoundry?
Peguen su clave de API de Meta en el diálogo de claves (o desplieguen los pesos abiertos para modelos autoalojables), asignen Llama 3.1 70B Instruct a un rol de Maestro en la pestaña Pipeline y úsenlo en chat, en Room Apps mediante invokeAI o en sus propias aplicaciones.
Publicado por Meta el 23 de julio de 2024. Fuente: https://openrouter.ai/meta-llama/llama-3.1-70b-instruct