Llama 3.3 70B Instruct
Dibangun oleh Meta, Llama 3.3 70B Instruct adalah sebuah model chat dengan context window 131K token. The Meta Llama 3.3 multilingual large language model (LLM) is a pretrained and instruction tuned generative model in 70B (text in/text out). The Llama 3.3 instruction tuned text only model...
by Meta · context window 131K token
Paling cocok untuk
- chat dan routing latensi rendah
- routing dan triase permintaan
- klasifikasi teks
Cara menggunakan Llama 3.3 70B Instruct di osFoundry
Hubungkan dengan key Anda sendiri (BYOK)
Buka dialog key dan tempelkan API key Meta Anda. osFoundry menemukan Llama 3.3 70B Instruct secara otomatis — tetapkan ke peran Maestro (router, direct, orchestrator, atau fallback) di tab Pipeline dan model ini langsung aktif di setiap chat. Key Anda, akun provider Anda — tanpa markup token.
Gunakan di Room App
Room App mendeklarasikan fitur AI di manifest mereka, lalu memanggilnya dengan invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Panggil dari aplikasi Anda sendiri
Setelah sebuah model terhubung ke workspace Anda, Anda dapat meng-host-nya sebagai API dan mengaksesnya dari layanan, skrip, atau CI Anda sendiri — di luar osFoundry.
Jalankan Llama 3.3 70B Instruct sendiri
Llama 3.3 70B Instruct juga tersedia sebagai open weights — self-host model ini untuk kontrol data penuh dan tanpa biaya per token. Lihat halaman tersebut untuk persyaratan GPU dan perbandingan biaya terhadap harga API.
Llama 3.3 70B Instruct vs model serupa
Lisensi
Hosted — usage subject to provider terms — Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri.
Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Pertanyaan umum tentang Llama 3.3 70B Instruct
Berapa biaya Llama 3.3 70B Instruct?
Llama 3.3 70B Instruct dikenakan biaya $ 0.100 /1M untuk input, dan $ 0.320 /1M untuk output. Bawa API key Meta Anda sendiri — osFoundry meneruskan harga provider tanpa markup.
Bisakah saya menggunakan Llama 3.3 70B Instruct secara komersial?
Penggunaan komersial diizinkan dengan syarat. Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri. Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Berapa context window dari Llama 3.3 70B Instruct?
Llama 3.3 70B Instruct mendukung context window 131K token.
Bisakah saya menjalankan Llama 3.3 70B Instruct secara lokal?
Tidak — Llama 3.3 70B Instruct hanya ter-host dan diakses melalui API Meta. Padanan open-weights tersedia untuk self-host — lihat tautan silang di atas.
Apa keunggulan utama Llama 3.3 70B Instruct?
Llama 3.3 70B Instruct sangat cocok untuk chat dan routing latensi rendah, routing dan triase permintaan, klasifikasi teks.
Bagaimana cara menggunakan Llama 3.3 70B Instruct di osFoundry?
Tempelkan API key Meta Anda di dialog key (atau deploy open weights untuk model yang dapat di-self-host), tetapkan Llama 3.3 70B Instruct ke peran Maestro di tab Pipeline, lalu gunakan di chat, di Room App via invokeAI, atau di aplikasi Anda sendiri.
Diterbitkan oleh Meta pada 6 Desember 2024. Sumber: https://openrouter.ai/meta-llama/llama-3.3-70b-instruct