Llama 3 70B Instruct
Meta द्वारा निर्मित, Llama 3 70B Instruct एक चैट model है 8K token context window के साथ। Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 70B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong...
by Meta · 8K token context window
किसके लिए सर्वोत्तम
- कम-latency चैट और routing
- request routing और triage
- text classification
osFoundry में Llama 3 70B Instruct का उपयोग करने के तरीके
अपनी key से जोड़ें (BYOK)
key dialog खोलें और अपनी Meta API key पेस्ट करें। osFoundry Llama 3 70B Instruct को स्वचालित रूप से खोज लेता है — इसे Pipeline tab में किसी Maestro role (router, direct, orchestrator, या fallback) को असाइन करें और यह हर चैट में live हो जाता है। आपकी key, आपका provider account — कोई token markup नहीं।
Room App में उपयोग करें
Room Apps अपने manifest में AI features घोषित करते हैं, फिर उन्हें invokeAI के साथ कॉल करते हैं:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
अपने ऐप्स से इसे कॉल करें
एक बार जब model आपके workspace में wired हो जाता है, तो आप इसे API के रूप में host कर सकते हैं और इसे अपनी services, scripts, या CI से — osFoundry के बाहर — एक्सेस कर सकते हैं।
Llama 3 70B Instruct स्वयं चलाएँ
Llama 3 70B Instruct open weights के रूप में भी उपलब्ध है — पूर्ण data नियंत्रण और कोई per-token लागत नहीं के लिए इसे self-host करें। GPU आवश्यकताओं और API मूल्य के विरुद्ध लागत तुलना के लिए वह पेज देखें।
Llama 3 70B Instruct बनाम समान models
लाइसेंस
Hosted — usage subject to provider terms — Hosted-only model — उपयोग provider के API terms द्वारा शासित। अपनी provider key लाएँ।
कोई weights distributed नहीं; उपयोग provider terms के अधीन।
Llama 3 70B Instruct के बारे में अक्सर पूछे जाने वाले प्रश्न
Llama 3 70B Instruct की लागत कितनी है?
Llama 3 70B Instruct input के लिए $ 0.510 /1M पर metered है, और output के लिए $ 0.740 /1M। अपनी Meta API key लाएँ — osFoundry बिना markup के provider pricing pass-through करता है।
क्या मैं Llama 3 70B Instruct का commercial उपयोग कर सकता हूँ?
Commercial उपयोग शर्तों के साथ अनुमत है। Hosted-only model — उपयोग provider के API terms द्वारा शासित। अपनी provider key लाएँ। कोई weights distributed नहीं; उपयोग provider terms के अधीन।
Llama 3 70B Instruct का context window क्या है?
Llama 3 70B Instruct 8K token context window का समर्थन करता है।
क्या मैं Llama 3 70B Instruct को locally चला सकता हूँ?
नहीं — Llama 3 70B Instruct केवल hosted है और Meta API के माध्यम से एक्सेस किया जाता है। एक open-weights समकक्ष self-host के लिए उपलब्ध है — ऊपर cross-link देखें।
Llama 3 70B Instruct किसमें सर्वश्रेष्ठ है?
Llama 3 70B Instruct कम-latency चैट और routing, request routing और triage, text classification के लिए उपयुक्त है।
मैं osFoundry में Llama 3 70B Instruct का उपयोग कैसे करूँ?
key dialog में अपनी Meta API key पेस्ट करें (या self-hostable models के लिए open weights deploy करें), Pipeline tab में Llama 3 70B Instruct को एक Maestro role को असाइन करें, फिर इसे चैट में, invokeAI के माध्यम से Room Apps में, या अपने ऐप्स में उपयोग करें।
Meta द्वारा प्रकाशित 18 अप्रैल 2024 को। स्रोत: https://openrouter.ai/meta-llama/llama-3-70b-instruct