Llama 3 70B Instruct
Desarrollado por Meta, Llama 3 70B Instruct es un modelo de chat con una ventana de contexto de 8K tokens. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 70B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · ventana de contexto de 8K tokens
Ideal para
- chat y enrutamiento de baja latencia
- enrutamiento y triaje de solicitudes
- clasificación de texto
Formas de utilizar Llama 3 70B Instruct en osFoundry
Conecten con su propia clave (BYOK)
Abran el diálogo de claves y peguen su clave de API de Meta. osFoundry detecta Llama 3 70B Instruct automáticamente: asígnenlo a un rol de Maestro (router, direct, orchestrator o fallback) en la pestaña Pipeline y quedará activo en cada chat. Su clave, su cuenta de proveedor: sin recargo por tokens.
Úsenlo en una Room App
Las Room Apps declaran funciones de IA en su manifiesto y luego las invocan con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Invóquenlo desde sus propias aplicaciones
Una vez que un modelo está integrado en su workspace, pueden alojarlo como API y consumirlo desde sus propios servicios, scripts o CI, fuera de osFoundry.
Ejecuten Llama 3 70B Instruct ustedes mismos
Llama 3 70B Instruct también está disponible como pesos abiertos: aloja tú mismo el modelo para tener control total de los datos y sin coste por token. Consulten esa página para conocer los requisitos de GPU y una comparativa de costes frente al precio de la API.
Llama 3 70B Instruct frente a modelos similares
Licencia
Hosted — usage subject to provider terms — Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor.
No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
Preguntas frecuentes sobre Llama 3 70B Instruct
¿Cuánto cuesta Llama 3 70B Instruct?
Llama 3 70B Instruct se factura a $ 0.510 /1M por entrada y $ 0.740 /1M por salida. Aporten su propia clave de API de Meta: osFoundry traslada el precio del proveedor sin recargo.
¿Puedo utilizar Llama 3 70B Instruct comercialmente?
El uso comercial está permitido con condiciones. Modelo solo alojado: el uso se rige por los términos de API del proveedor. Aporten su propia clave del proveedor. No se distribuyen los pesos; el uso está sujeto a los términos del proveedor.
¿Cuál es la ventana de contexto de Llama 3 70B Instruct?
Llama 3 70B Instruct admite una ventana de contexto de 8K tokens.
¿Puedo ejecutar Llama 3 70B Instruct localmente?
No: Llama 3 70B Instruct es solo alojado y se accede a través de la API de Meta. Existe un equivalente de pesos abiertos para autoalojar: consulten el enlace cruzado de arriba.
¿En qué destaca Llama 3 70B Instruct?
Llama 3 70B Instruct es muy adecuado para chat y enrutamiento de baja latencia, enrutamiento y triaje de solicitudes, clasificación de texto.
¿Cómo se utiliza Llama 3 70B Instruct en osFoundry?
Peguen su clave de API de Meta en el diálogo de claves (o desplieguen los pesos abiertos para modelos autoalojables), asignen Llama 3 70B Instruct a un rol de Maestro en la pestaña Pipeline y úsenlo en chat, en Room Apps mediante invokeAI o en sus propias aplicaciones.
Publicado por Meta el 18 de abril de 2024. Fuente: https://openrouter.ai/meta-llama/llama-3-70b-instruct