Mistral Small 3
Mistral Small 3 (Mistral AI, 2025) एक 24 अरब parameter वाला चैट model है। Compact 24B open-weights model. Tuned for low-latency chat and tool use with a permissive licence for commercial deployment.
by Mistral AI · 24B parameters · 32K token context window
किसके लिए सर्वोत्तम
- कम-latency चैट और routing
- tool calling और function use
- consumer GPU पर edge deployment
osFoundry में Mistral Small 3 का उपयोग करने के तरीके
अपनी key से जोड़ें (BYOK)
key dialog खोलें और अपनी Mistral AI API key पेस्ट करें। osFoundry Mistral Small 3 को स्वचालित रूप से खोज लेता है — इसे Pipeline tab में किसी Maestro role (router, direct, orchestrator, या fallback) को असाइन करें और यह हर चैट में live हो जाता है। आपकी key, आपका provider account — कोई token markup नहीं।
एक dedicated endpoint deploy करें
Mistral Small 3 open-weights है — इसे locally मुफ्त में चलाएँ, या rate limits के बिना reserved capacity के लिए अपने workspace में एक dedicated GPU endpoint deploy करें।
Room App में उपयोग करें
Room Apps अपने manifest में AI features घोषित करते हैं, फिर उन्हें invokeAI के साथ कॉल करते हैं:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
अपने ऐप्स से इसे कॉल करें
एक बार जब model आपके workspace में wired हो जाता है, तो आप इसे API के रूप में host कर सकते हैं और इसे अपनी services, scripts, या CI से — osFoundry के बाहर — एक्सेस कर सकते हैं।
Mistral Small 3 कौनसा hardware चला सकता है
Mistral Small 3 एक 16GB consumer GPU पर चलता है (~15 GB VRAM, KV-cache headroom के साथ)। पूर्ण-precision inference FP16 precision पर एक H100 80GB पर fit होता है (~58 GB)।
Mistral Small 3 बनाम समान models
लाइसेंस
Apache 2.0 — commercial use allowed — बिना royalties के commercial उपयोग, modification, distribution, और patent grants की अनुमति देता है।
Attribution आवश्यक (copyright + licence notices संरक्षित रखें)।
Mistral Small 3 के बारे में अक्सर पूछे जाने वाले प्रश्न
क्या Mistral Small 3 उपयोग करने के लिए मुफ्त है?
Mistral Small 3 आपके अपने hardware पर locally चलाने के लिए मुफ्त है। osFoundry के माध्यम से hosted access metered है (input Free (local) / $ 0.10 /1M, output Free (local) / $ 0.30 /1M)। आप किसी भी समय local और hosted के बीच switch कर सकते हैं।
क्या मैं Mistral Small 3 का commercial उपयोग कर सकता हूँ?
हाँ — commercial उपयोग की अनुमति है। बिना royalties के commercial उपयोग, modification, distribution, और patent grants की अनुमति देता है। Attribution आवश्यक (copyright + licence notices संरक्षित रखें)।
Mistral Small 3 का context window क्या है?
Mistral Small 3 32K token context window का समर्थन करता है।
Mistral Small 3 को कितनी VRAM चाहिए?
Q4 quantisation पर लगभग 15 GB, या पूर्ण FP16 precision पर 58 GB। एक 24GB consumer GPU पर fit होता है।
क्या मैं Mistral Small 3 को locally चला सकता हूँ?
हाँ। Mistral Small 3 open-weights है और workstation GPU पर locally चलता है। osFoundry का local runtime model loading, quantisation, और routing संभालता है।
Mistral Small 3 किसमें सर्वश्रेष्ठ है?
Mistral Small 3 कम-latency चैट और routing, tool calling और function use, consumer GPU पर edge deployment के लिए उपयुक्त है।
मैं osFoundry में Mistral Small 3 का उपयोग कैसे करूँ?
key dialog में अपनी Mistral AI API key पेस्ट करें (या self-hostable models के लिए open weights deploy करें), Pipeline tab में Mistral Small 3 को एक Maestro role को असाइन करें, फिर इसे चैट में, invokeAI के माध्यम से Room Apps में, या अपने ऐप्स में उपयोग करें।
Mistral AI द्वारा प्रकाशित 30 जनवरी 2025 को।