Llama 3 70B Instruct
Dibangun oleh Meta, Llama 3 70B Instruct adalah sebuah model chat dengan context window 8K token. Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 70B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · context window 8K token
Paling cocok untuk
- chat dan routing latensi rendah
- routing dan triase permintaan
- klasifikasi teks
Cara menggunakan Llama 3 70B Instruct di osFoundry
Hubungkan dengan key Anda sendiri (BYOK)
Buka dialog key dan tempelkan API key Meta Anda. osFoundry menemukan Llama 3 70B Instruct secara otomatis — tetapkan ke peran Maestro (router, direct, orchestrator, atau fallback) di tab Pipeline dan model ini langsung aktif di setiap chat. Key Anda, akun provider Anda — tanpa markup token.
Gunakan di Room App
Room App mendeklarasikan fitur AI di manifest mereka, lalu memanggilnya dengan invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Panggil dari aplikasi Anda sendiri
Setelah sebuah model terhubung ke workspace Anda, Anda dapat meng-host-nya sebagai API dan mengaksesnya dari layanan, skrip, atau CI Anda sendiri — di luar osFoundry.
Jalankan Llama 3 70B Instruct sendiri
Llama 3 70B Instruct juga tersedia sebagai open weights — self-host model ini untuk kontrol data penuh dan tanpa biaya per token. Lihat halaman tersebut untuk persyaratan GPU dan perbandingan biaya terhadap harga API.
Llama 3 70B Instruct vs model serupa
Lisensi
Hosted — usage subject to provider terms — Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri.
Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Pertanyaan umum tentang Llama 3 70B Instruct
Berapa biaya Llama 3 70B Instruct?
Llama 3 70B Instruct dikenakan biaya $ 0.510 /1M untuk input, dan $ 0.740 /1M untuk output. Bawa API key Meta Anda sendiri — osFoundry meneruskan harga provider tanpa markup.
Bisakah saya menggunakan Llama 3 70B Instruct secara komersial?
Penggunaan komersial diizinkan dengan syarat. Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri. Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Berapa context window dari Llama 3 70B Instruct?
Llama 3 70B Instruct mendukung context window 8K token.
Bisakah saya menjalankan Llama 3 70B Instruct secara lokal?
Tidak — Llama 3 70B Instruct hanya ter-host dan diakses melalui API Meta. Padanan open-weights tersedia untuk self-host — lihat tautan silang di atas.
Apa keunggulan utama Llama 3 70B Instruct?
Llama 3 70B Instruct sangat cocok untuk chat dan routing latensi rendah, routing dan triase permintaan, klasifikasi teks.
Bagaimana cara menggunakan Llama 3 70B Instruct di osFoundry?
Tempelkan API key Meta Anda di dialog key (atau deploy open weights untuk model yang dapat di-self-host), tetapkan Llama 3 70B Instruct ke peran Maestro di tab Pipeline, lalu gunakan di chat, di Room App via invokeAI, atau di aplikasi Anda sendiri.
Diterbitkan oleh Meta pada 18 April 2024. Sumber: https://openrouter.ai/meta-llama/llama-3-70b-instruct