Llama 3.1 8B Instruct
Llama 3.1 8B Instruct (Meta, 2024) एक चैट model है। Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to...
by Meta · 16K token context window
किसके लिए सर्वोत्तम
- कम-latency चैट और routing
- request routing और triage
- text classification
osFoundry में Llama 3.1 8B Instruct का उपयोग करने के तरीके
अपनी key से जोड़ें (BYOK)
key dialog खोलें और अपनी Meta API key पेस्ट करें। osFoundry Llama 3.1 8B Instruct को स्वचालित रूप से खोज लेता है — इसे Pipeline tab में किसी Maestro role (router, direct, orchestrator, या fallback) को असाइन करें और यह हर चैट में live हो जाता है। आपकी key, आपका provider account — कोई token markup नहीं।
Room App में उपयोग करें
Room Apps अपने manifest में AI features घोषित करते हैं, फिर उन्हें invokeAI के साथ कॉल करते हैं:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
अपने ऐप्स से इसे कॉल करें
एक बार जब model आपके workspace में wired हो जाता है, तो आप इसे API के रूप में host कर सकते हैं और इसे अपनी services, scripts, या CI से — osFoundry के बाहर — एक्सेस कर सकते हैं।
Llama 3.1 8B Instruct बनाम समान models
लाइसेंस
Hosted — usage subject to provider terms — Hosted-only model — उपयोग provider के API terms द्वारा शासित। अपनी provider key लाएँ।
कोई weights distributed नहीं; उपयोग provider terms के अधीन।
Llama 3.1 8B Instruct के बारे में अक्सर पूछे जाने वाले प्रश्न
Llama 3.1 8B Instruct की लागत कितनी है?
Llama 3.1 8B Instruct input के लिए $ 0.020 /1M पर metered है, और output के लिए $ 0.050 /1M। अपनी Meta API key लाएँ — osFoundry बिना markup के provider pricing pass-through करता है।
क्या मैं Llama 3.1 8B Instruct का commercial उपयोग कर सकता हूँ?
Commercial उपयोग शर्तों के साथ अनुमत है। Hosted-only model — उपयोग provider के API terms द्वारा शासित। अपनी provider key लाएँ। कोई weights distributed नहीं; उपयोग provider terms के अधीन।
Llama 3.1 8B Instruct का context window क्या है?
Llama 3.1 8B Instruct 16K token context window का समर्थन करता है।
क्या मैं Llama 3.1 8B Instruct को locally चला सकता हूँ?
नहीं — Llama 3.1 8B Instruct केवल hosted है और Meta API के माध्यम से एक्सेस किया जाता है।
Llama 3.1 8B Instruct किसमें सर्वश्रेष्ठ है?
Llama 3.1 8B Instruct कम-latency चैट और routing, request routing और triage, text classification के लिए उपयुक्त है।
मैं osFoundry में Llama 3.1 8B Instruct का उपयोग कैसे करूँ?
key dialog में अपनी Meta API key पेस्ट करें (या self-hostable models के लिए open weights deploy करें), Pipeline tab में Llama 3.1 8B Instruct को एक Maestro role को असाइन करें, फिर इसे चैट में, invokeAI के माध्यम से Room Apps में, या अपने ऐप्स में उपयोग करें।
Meta द्वारा प्रकाशित 23 जुलाई 2024 को। स्रोत: https://openrouter.ai/meta-llama/llama-3.1-8b-instruct