Llama 3 8B Instruct
Lanzado por Meta en 2024, Llama 3 8B Instruct es un modelo de chat. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 8B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · ventana de contexto de 8K tokens
Ideal para
- chat y enrutamiento de baja latencia
- enrutamiento y triaje de solicitudes
- clasificación de texto
Formas de utilizar Llama 3 8B Instruct en osFoundry
Conecten con su propia clave (BYOK)
Abran el diálogo de claves y peguen su clave de API de Meta. osFoundry detecta Llama 3 8B Instruct automáticamente: asígnenlo a un rol de Maestro (router, direct, orchestrator o fallback) en la pestaña Pipeline y quedará activo en cada chat. Su clave, su cuenta de proveedor: sin recargo por tokens.
Úsenlo en una Room App
Las Room Apps declaran funciones de IA en su manifiesto y luego las invocan con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Invóquenlo desde sus propias aplicaciones
Una vez que un modelo está integrado en su workspace, pueden alojarlo como API y consumirlo desde sus propios servicios, scripts o CI, fuera de osFoundry.
Ejecuten Llama 3 8B Instruct ustedes mismos
Llama 3 8B Instruct también está disponible como pesos abiertos: aloja tú mismo el modelo para tener control total de los datos y sin coste por token. Consulten esa página para conocer los requisitos de GPU y una comparativa de costes frente al precio de la API.
Llama 3 8B Instruct frente a modelos similares
Licencia
Hosted — usage subject to provider terms — Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor.
No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
Preguntas frecuentes sobre Llama 3 8B Instruct
¿Cuánto cuesta Llama 3 8B Instruct?
Llama 3 8B Instruct se factura a $ 0.040 /1M por entrada y $ 0.040 /1M por salida. Aporten su propia clave de API de Meta: osFoundry traslada el precio del proveedor sin recargo.
¿Puedo utilizar Llama 3 8B Instruct comercialmente?
El uso comercial está permitido con condiciones. Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor. No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
¿Cuál es la ventana de contexto de Llama 3 8B Instruct?
Llama 3 8B Instruct admite una ventana de contexto de 8K tokens.
¿Puedo ejecutar Llama 3 8B Instruct localmente?
No: Llama 3 8B Instruct es solo alojado y se accede a través de la API de Meta. Existe un equivalente de pesos abiertos para autoalojar: consulten el enlace cruzado de arriba.
¿En qué destaca Llama 3 8B Instruct?
Llama 3 8B Instruct es muy adecuado para chat y enrutamiento de baja latencia, enrutamiento y triaje de solicitudes, clasificación de texto.
¿Cómo se utiliza Llama 3 8B Instruct en osFoundry?
Peguen su clave de API de Meta en el diálogo de claves (o desplieguen los pesos abiertos para modelos autoalojables), asignen Llama 3 8B Instruct a un rol de Maestro en la pestaña Pipeline y úsenlo en chat, en Room Apps mediante invokeAI o en sus propias aplicaciones.
Publicado por Meta el 18 de abril de 2024. Fuente: https://openrouter.ai/meta-llama/llama-3-8b-instruct