sarvam30b_INT4_quantisation
meghanamakkapati का sarvam30b_INT4_quantisation एक चैट model। sarvam30b_INT4_quantisation is an open-weights chat model.
by meghanamakkapati
किसके लिए सर्वोत्तम
osFoundry में sarvam30b_INT4_quantisation का उपयोग करने के तरीके
अपनी key से जोड़ें (BYOK)
key dialog खोलें और अपनी meghanamakkapati API key पेस्ट करें। osFoundry sarvam30b_INT4_quantisation को स्वचालित रूप से खोज लेता है — इसे Pipeline tab में किसी Maestro role (router, direct, orchestrator, या fallback) को असाइन करें और यह हर चैट में live हो जाता है। आपकी key, आपका provider account — कोई token markup नहीं।
एक dedicated endpoint deploy करें
sarvam30b_INT4_quantisation open-weights है — इसे locally मुफ्त में चलाएँ, या rate limits के बिना reserved capacity के लिए अपने workspace में एक dedicated GPU endpoint deploy करें।
Room App में उपयोग करें
Room Apps अपने manifest में AI features घोषित करते हैं, फिर उन्हें invokeAI के साथ कॉल करते हैं:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
अपने ऐप्स से इसे कॉल करें
एक बार जब model आपके workspace में wired हो जाता है, तो आप इसे API के रूप में host कर सकते हैं और इसे अपनी services, scripts, या CI से — osFoundry के बाहर — एक्सेस कर सकते हैं।
sarvam30b_INT4_quantisation बनाम समान models
लाइसेंस
अनिर्दिष्ट — लाइसेंस की शर्तें निर्दिष्ट नहीं — commercial उपयोग से पहले upstream model card सत्यापित करें।
Upstream documentation देखें।
sarvam30b_INT4_quantisation के बारे में अक्सर पूछे जाने वाले प्रश्न
क्या sarvam30b_INT4_quantisation उपयोग करने के लिए मुफ्त है?
sarvam30b_INT4_quantisation आपके अपने hardware पर locally चलाने के लिए मुफ्त है। osFoundry के माध्यम से hosted access metered है (input Free (local), output Free (local))। आप किसी भी समय local और hosted के बीच switch कर सकते हैं।
क्या मैं sarvam30b_INT4_quantisation का commercial उपयोग कर सकता हूँ?
Commercial उपयोग शर्तों के साथ अनुमत है। लाइसेंस की शर्तें निर्दिष्ट नहीं — commercial उपयोग से पहले upstream model card सत्यापित करें। Upstream documentation देखें।
क्या मैं sarvam30b_INT4_quantisation को locally चला सकता हूँ?
हाँ। sarvam30b_INT4_quantisation open-weights है और workstation GPU पर locally चलता है। osFoundry का local runtime model loading, quantisation, और routing संभालता है।
sarvam30b_INT4_quantisation किसमें सर्वश्रेष्ठ है?
sarvam30b_INT4_quantisation text generation के लिए उपयुक्त है।
मैं osFoundry में sarvam30b_INT4_quantisation का उपयोग कैसे करूँ?
key dialog में अपनी meghanamakkapati API key पेस्ट करें (या self-hostable models के लिए open weights deploy करें), Pipeline tab में sarvam30b_INT4_quantisation को एक Maestro role को असाइन करें, फिर इसे चैट में, invokeAI के माध्यम से Room Apps में, या अपने ऐप्स में उपयोग करें।
meghanamakkapati द्वारा प्रकाशित 8 मई 2026 को। स्रोत: https://huggingface.co/meghanamakkapati/sarvam30b_INT4_quantisation