Llama 3.1 70B Instruct
Conçu par Meta, Llama 3.1 70B Instruct est un modèle chat avec une fenêtre de contexte de 131K tokens. Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · fenêtre de contexte de 131K tokens
Idéal pour
- chat et routage à faible latence
- routage et triage des requêtes
- classification de texte
Comment utiliser Llama 3.1 70B Instruct dans osFoundry
Connectez-vous avec votre propre clé (BYOK)
Ouvrez la fenêtre de clés et collez votre clé API Meta. osFoundry détecte automatiquement Llama 3.1 70B Instruct — assignez-le à un rôle Maestro (router, direct, orchestrator ou fallback) dans l'onglet Pipeline et il est actif dans chaque conversation. Votre clé, votre compte fournisseur — sans majoration sur les tokens.
Utilisez-le dans une Room App
Les Room Apps déclarent leurs fonctionnalités IA dans leur manifeste, puis les appellent via invokeAI :
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Appelez-le depuis vos propres applications
Une fois un modèle intégré à votre espace de travail, vous pouvez l'héberger en tant qu'API et l'appeler depuis vos propres services, scripts ou CI — en dehors d'osFoundry.
Llama 3.1 70B Instruct face aux modèles similaires
| Modèle | Organisation | Paramètres | Contexte | Prix en entrée | Auto-hébergement |
|---|
| Llama 3.1 70B Instruct | Meta | — | 131K | $ 0.400 /1M | API uniquement |
| Mistral Nemo | Mistral | — | 131K | $ 0.020 /1M | API uniquement |
| Llama 3 8B Lunaris | Sao10K | — | 8K | $ 0.040 /1M | API uniquement |
| Gemma 2 27B | Google | — | 8K | $ 0.650 /1M | API uniquement |
Licence
Hosted — usage subject to provider terms — Modèle hébergé uniquement — l'utilisation est régie par les conditions d'API du fournisseur. Apportez votre propre clé fournisseur.
Aucun poids distribué ; usage soumis aux conditions du fournisseur.
Questions fréquentes sur Llama 3.1 70B Instruct
Combien coûte Llama 3.1 70B Instruct ?
Llama 3.1 70B Instruct est facturé à $ 0.400 /1M en entrée et $ 0.400 /1M en sortie. Apportez votre propre clé API Meta — osFoundry répercute la tarification du fournisseur sans majoration.
Puis-je utiliser Llama 3.1 70B Instruct à des fins commerciales ?
L'usage commercial est autorisé sous conditions. Modèle hébergé uniquement — l'utilisation est régie par les conditions d'API du fournisseur. Apportez votre propre clé fournisseur. Aucun poids distribué ; usage soumis aux conditions du fournisseur.
Quelle est la fenêtre de contexte de Llama 3.1 70B Instruct ?
Llama 3.1 70B Instruct prend en charge une fenêtre de contexte de 131K tokens.
Puis-je exécuter Llama 3.1 70B Instruct localement ?
Non — Llama 3.1 70B Instruct est uniquement hébergé et accessible via l'API Meta.
À quoi Llama 3.1 70B Instruct excelle-t-il ?
Llama 3.1 70B Instruct convient particulièrement bien à chat et routage à faible latence, routage et triage des requêtes, classification de texte.
Comment utiliser Llama 3.1 70B Instruct dans osFoundry ?
Collez votre clé API Meta dans la fenêtre de clés (ou déployez les open weights pour les modèles auto-hébergeables), assignez Llama 3.1 70B Instruct à un rôle Maestro dans l'onglet Pipeline, puis utilisez-le en chat, dans les Room Apps via invokeAI, ou dans vos propres applications.
Publié par Meta le 23 juillet 2024. Source : https://openrouter.ai/meta-llama/llama-3.1-70b-instruct