Llama 3 70B Instruct
Entwickelt von Meta, ist Llama 3 70B Instruct ein Chat-Modell mit einem Kontextfenster von 8K Token. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 70B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · Kontextfenster von 8K Token
Am besten geeignet für
- Chat und Routing mit geringer Latenz
- Anfrage-Routing und Triage
- Textklassifikation
Möglichkeiten, Llama 3 70B Instruct in osFoundry zu nutzen
Mit eigenem Schlüssel verbinden (BYOK)
Öffnen Sie den Schlüssel-Dialog und fügen Sie Ihren Meta-API-Key ein. osFoundry erkennt Llama 3 70B Instruct automatisch — weisen Sie es im Pipeline-Tab einer Maestro-Rolle (Router, Direct, Orchestrator oder Fallback) zu, und es ist in jedem Chat verfügbar. Ihr Key, Ihr Provider-Konto — kein Token-Aufschlag.
In einer Room App verwenden
Room Apps deklarieren KI-Funktionen in ihrem Manifest und rufen sie anschließend mit invokeAI auf:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Aus eigenen Anwendungen aufrufen
Sobald ein Modell in Ihrem Workspace eingerichtet ist, können Sie es als API hosten und aus Ihren eigenen Diensten, Skripten oder CI — außerhalb von osFoundry — erreichen.
Llama 3 70B Instruct selbst betreiben
Llama 3 70B Instruct ist auch als Open Weights verfügbar — selbst hosten für volle Datenkontrolle und ohne Kosten pro Token. Auf jener Seite finden Sie GPU-Anforderungen und einen Kostenvergleich mit API-Preisen.
Llama 3 70B Instruct im Vergleich zu ähnlichen Modellen
Lizenz
Hosted — usage subject to provider terms — Nur gehostetes Modell — die Nutzung unterliegt den API-Bedingungen des Anbieters. Bringen Sie Ihren eigenen Provider-Key mit.
Keine Weights verteilt; Nutzung unterliegt den Anbieterbedingungen.
Häufige Fragen zu Llama 3 70B Instruct
Wie viel kostet Llama 3 70B Instruct?
Llama 3 70B Instruct wird mit $ 0.510 /1M für Input und $ 0.740 /1M für Output abgerechnet. Bringen Sie Ihren eigenen Meta-API-Key mit — osFoundry reicht die Provider-Preise ohne Aufschlag durch.
Kann ich Llama 3 70B Instruct kommerziell nutzen?
Kommerzielle Nutzung ist unter bestimmten Bedingungen erlaubt. Nur gehostetes Modell — die Nutzung unterliegt den API-Bedingungen des Anbieters. Bringen Sie Ihren eigenen Provider-Key mit. Keine Weights verteilt; Nutzung unterliegt den Anbieterbedingungen.
Wie groß ist das Kontextfenster von Llama 3 70B Instruct?
Llama 3 70B Instruct unterstützt ein Kontextfenster von 8K Token.
Kann ich Llama 3 70B Instruct lokal betreiben?
Nein — Llama 3 70B Instruct ist nur gehostet verfügbar und wird über die Meta-API genutzt. Ein Open-Weights-Äquivalent steht zum Selbsthosten zur Verfügung — siehe den Querverweis oben.
Worin ist Llama 3 70B Instruct besonders gut?
Llama 3 70B Instruct eignet sich besonders für Chat und Routing mit geringer Latenz, Anfrage-Routing und Triage, Textklassifikation.
Wie verwende ich Llama 3 70B Instruct in osFoundry?
Fügen Sie Ihren Meta-API-Key im Schlüssel-Dialog ein (oder stellen Sie bei selbst hostbaren Modellen die Open Weights bereit), weisen Sie Llama 3 70B Instruct im Pipeline-Tab einer Maestro-Rolle zu und nutzen Sie es anschließend im Chat, in Room Apps über invokeAI oder in Ihren eigenen Anwendungen.
Veröffentlicht von Meta am 18. April 2024. Quelle: https://openrouter.ai/meta-llama/llama-3-70b-instruct