Llama 3.2 3B Instruct
Llama 3.2 3B Instruct adalah model chat dari Meta, dirilis 25 September 2024. Llama 3.2 3B is a 3-billion-parameter multilingual large language model, optimized for advanced natural language processing tasks like dialogue generation, reasoning, and summarization. Designed with the latest transformer architecture, it...
by Meta · context window 80K token
Paling cocok untuk
- chat dan routing latensi rendah
- routing dan triase permintaan
- klasifikasi teks
Cara menggunakan Llama 3.2 3B Instruct di osFoundry
Hubungkan dengan key Anda sendiri (BYOK)
Buka dialog key dan tempelkan API key Meta Anda. osFoundry menemukan Llama 3.2 3B Instruct secara otomatis — tetapkan ke peran Maestro (router, direct, orchestrator, atau fallback) di tab Pipeline dan model ini langsung aktif di setiap chat. Key Anda, akun provider Anda — tanpa markup token.
Gunakan di Room App
Room App mendeklarasikan fitur AI di manifest mereka, lalu memanggilnya dengan invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Panggil dari aplikasi Anda sendiri
Setelah sebuah model terhubung ke workspace Anda, Anda dapat meng-host-nya sebagai API dan mengaksesnya dari layanan, skrip, atau CI Anda sendiri — di luar osFoundry.
Jalankan Llama 3.2 3B Instruct sendiri
Llama 3.2 3B Instruct juga tersedia sebagai open weights — self-host model ini untuk kontrol data penuh dan tanpa biaya per token. Lihat halaman tersebut untuk persyaratan GPU dan perbandingan biaya terhadap harga API.
Llama 3.2 3B Instruct vs model serupa
Lisensi
Hosted — usage subject to provider terms — Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri.
Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Pertanyaan umum tentang Llama 3.2 3B Instruct
Berapa biaya Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct dikenakan biaya $ 0.051 /1M untuk input, dan $ 0.340 /1M untuk output. Bawa API key Meta Anda sendiri — osFoundry meneruskan harga provider tanpa markup.
Bisakah saya menggunakan Llama 3.2 3B Instruct secara komersial?
Penggunaan komersial diizinkan dengan syarat. Model ter-host saja — penggunaan diatur oleh ketentuan API provider. Bawa key provider Anda sendiri. Tidak ada weights yang didistribusikan; penggunaan tunduk pada ketentuan provider.
Berapa context window dari Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct mendukung context window 80K token.
Bisakah saya menjalankan Llama 3.2 3B Instruct secara lokal?
Tidak — Llama 3.2 3B Instruct hanya ter-host dan diakses melalui API Meta. Padanan open-weights tersedia untuk self-host — lihat tautan silang di atas.
Apa keunggulan utama Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct sangat cocok untuk chat dan routing latensi rendah, routing dan triase permintaan, klasifikasi teks.
Bagaimana cara menggunakan Llama 3.2 3B Instruct di osFoundry?
Tempelkan API key Meta Anda di dialog key (atau deploy open weights untuk model yang dapat di-self-host), tetapkan Llama 3.2 3B Instruct ke peran Maestro di tab Pipeline, lalu gunakan di chat, di Room App via invokeAI, atau di aplikasi Anda sendiri.
Diterbitkan oleh Meta pada 25 September 2024. Sumber: https://openrouter.ai/meta-llama/llama-3.2-3b-instruct