Llama 3.1 70B Instruct
Dibangun oleh Meta, Llama 3.1 70B Instruct adalah sebuah model chat dengan context window 131K token. Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · context window 131K token
Paling cocok untuk
- chat dan routing latensi rendah
- routing dan triase permintaan
- klasifikasi teks
Cara menggunakan Llama 3.1 70B Instruct di osFoundry
Hubungkan dengan key Anda sendiri (BYOK)
Buka dialog key dan tempelkan API key Meta Anda. osFoundry menemukan Llama 3.1 70B Instruct secara otomatis — tetapkan ke peran Maestro (router, direct, orchestrator, atau fallback) di tab Pipeline dan model ini langsung aktif di setiap chat. Key Anda, akun provider Anda — tanpa markup token.
Gunakan di Room App
Room App mendeklarasikan fitur AI di manifest mereka, lalu memanggilnya dengan invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Panggil dari aplikasi Anda sendiri
Setelah sebuah model terhubung ke workspace Anda, Anda dapat meng-host-nya sebagai API dan mengaksesnya dari layanan, skrip, atau CI Anda sendiri — di luar osFoundry.
Llama 3.1 70B Instruct vs model serupa
| Model | Org | Parameter | Context | Harga input | Self-host |
|---|
| Llama 3.1 70B Instruct | Meta | — | 131K | $ 0.400 /1M | Hanya API |
| Mistral Nemo | Mistral | — | 131K | $ 0.020 /1M | Hanya API |
| Llama 3 8B Lunaris | Sao10K | — | 8K | $ 0.040 /1M | Hanya API |
| Gemma 2 27B | Google | — | 8K | $ 0.650 /1M | Hanya API |
Lisensi
Hosted — usage subject to provider terms — Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri.
Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Pertanyaan umum tentang Llama 3.1 70B Instruct
Berapa biaya Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct dikenakan biaya $ 0.400 /1M untuk input, dan $ 0.400 /1M untuk output. Bawa API key Meta Anda sendiri — osFoundry meneruskan harga provider tanpa markup.
Bisakah saya menggunakan Llama 3.1 70B Instruct secara komersial?
Penggunaan komersial diizinkan dengan syarat. Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri. Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Berapa context window dari Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct mendukung context window 131K token.
Bisakah saya menjalankan Llama 3.1 70B Instruct secara lokal?
Tidak — Llama 3.1 70B Instruct hanya ter-host dan diakses melalui API Meta.
Apa keunggulan utama Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct sangat cocok untuk chat dan routing latensi rendah, routing dan triase permintaan, klasifikasi teks.
Bagaimana cara menggunakan Llama 3.1 70B Instruct di osFoundry?
Tempelkan API key Meta Anda di dialog key (atau deploy open weights untuk model yang dapat di-self-host), tetapkan Llama 3.1 70B Instruct ke peran Maestro di tab Pipeline, lalu gunakan di chat, di Room App via invokeAI, atau di aplikasi Anda sendiri.
Diterbitkan oleh Meta pada 23 Juli 2024. Sumber: https://openrouter.ai/meta-llama/llama-3.1-70b-instruct