osFoundry / Platform
लोकल सर्वर्स
अपनी मशीन या Workstation पर लोकल इन्फ़रेंस चलाएँ। रूट्स ऑटोमैटिक हैं — जब संभव हो तो Maestro लोकल चुनता है।
यह क्या है
लोकल सर्वर आपको हर रिक्वेस्ट किसी होस्टेड API को भेजने के बजाय AI इनफरेंस अपनी ही मशीन पर चलाने देते हैं। osFoundry के साथ एक लोकल इनफरेंस सर्वर आता है जो आपके Mac या वर्कस्टेशन के किसी फ़ोल्डर से GGUF फ़ॉर्मैट की मॉडल फ़ाइलें लोड करता है और उन्हें बाकी ऐप को परोसता है। चूँकि मॉडल उसी हार्डवेयर पर चलता है जो पहले से आपके पास है, लोकल रन में प्रति टोकन कोई खर्च नहीं आता, कोई API की नहीं चाहिए, और प्रॉम्प्ट व उसका डेटा आपके डिवाइस पर ही रहता है। यह तब मायने रखता है जब सामग्री निजी हो, नियमन के दायरे में हो, या बस ऐसी हो जिसे आप बाहर नहीं जाने देना चाहते।\n\nosFoundry के भीतर Maestro वह रूटिंग परत है जो तय करती है कि हर रिक्वेस्ट कहाँ जाए। रूटिंग अपने-आप होती है: जब भी रिक्वेस्ट आपकी मशीन की क्षमता में समा जाती है, Maestro लोकल सर्वर चुनता है, और क्लाउड मॉडल (आपकी अपनी की के साथ) तभी उपयोग करता है जब काम को ऐसी क्षमताएँ चाहिए जो लोकल मॉडल नहीं दे सकता। इसे हर संदेश पर सेट करने की ज़रूरत नहीं; यह चैट, एजेंट और पाइपलाइन भूमिकाओं पर लगातार लागू रहने वाली नीति है। लोकल रनटाइम पर नियंत्रण आपके पास सेटिंग्स पैनल से रहता है: GPU पर कितनी ट्रांसफ़ॉर्मर लेयरें ऑफलोड करनी हैं, कॉन्टेक्स्ट विंडो का आकार, KV-कैश का क्वांटाइज़ेशन (f16, bf16, q8_0, q4_0 और अन्य), समानांतर रिक्वेस्ट स्लॉट की संख्या, और मल्टी-GPU मशीनों पर मॉडल को डिवाइसों के बीच कैसे बाँटना है।\n\nयह इसलिए मायने रखता है क्योंकि ज़्यादातर \"आपके वर्कस्पेस में AI\" उत्पाद डेटा के जाने के लिए ठीक एक ही जगह देते हैं: उनके अपने सर्वर। osFoundry डिज़ाइन से ही BYOK और लोकल-फ़र्स्ट है। लोकल सर्वर उस डिज़ाइन की बुनियाद हैं: वह विकल्प जिसमें कोई खर्च नहीं, कुछ भी उजागर नहीं होता, और जिन मॉडलों को आपका हार्डवेयर चला सकता है उनके लिए यह ऑफलाइन भी काम करता है, जबकि भारी कामों के लिए आपकी BYOK क्लाउड कीज़ ठीक उसके बगल में रहती हैं। एक वर्कस्पेस, दोनों रास्ते, न कोई प्रति-सीट शुल्क और न किसी पर रीसेलर मार्कअप।
मुख्य क्षमताएँ
- बिल्ट-इन llama.cpp इनफरेंस सर्वर के ज़रिए GGUF मॉडल सीधे आपके Mac या वर्कस्टेशन पर चलाता है, न क्लाउड का चक्कर न लोकल रन के लिए कोई API की
- Maestro हर टर्न को अपने-आप रूट करता है और जब भी रिक्वेस्ट समा जाए लोकल सर्वर चुनता है, क्लाउड मॉडल पर तभी जाता है जब काम को उसकी ज़रूरत हो
- लोकल रनटाइम को UI से ट्यून करें: GPU ऑफलोड लेयरें, कॉन्टेक्स्ट आकार, KV-कैश टाइप (f16/q8_0/q4_0 आदि), समानांतर स्लॉट और मल्टी-GPU स्प्लिटिंग
- लोकल रन में प्रॉम्प्ट और डेटा आपके डिवाइस पर रखता है, ताकि निजी या नियमित सामग्री कभी मशीन से बाहर न जाए
- आपकी BYOK क्लाउड कीज़ के साथ एक ही वर्कस्पेस में रहता है: चैट, एजेंट, ऐप्स, कोड और नॉलेज बिना टूल बदले लोकल या क्लाउड, दोनों से खींचते हैं
उपयोग के मामले
- गोपनीयता के प्रति सजग इंजीनियर: लोकल GGUF मॉडल चलाता है ताकि कॉन्ट्रैक्ट और कोडबेस वाले प्रॉम्प्ट वर्कस्टेशन से बाहर न जाएँ, और कभी-कभार आने वाली कठिन क्वेरी के लिए ही Maestro को क्लाउड की तक बढ़ने देता है
- बजट में चलने वाला अकेला बिल्डर: रोज़मर्रा की चैट और एजेंट काम के लिए लोकल इनफरेंस पर टिका रहता है ताकि प्रति-टोकन क्लाउड खर्च लगभग शून्य रहे, और GPU ऑफलोड व कॉन्टेक्स्ट आकार को एक ही लैपटॉप के हिसाब से ट्यून करता है
- वर्कस्टेशन पावर यूज़र: एक बड़े मॉडल को कई GPU पर बाँटता है और समानांतर स्लॉट बढ़ाकर एक साथ कई एजेंट को सेवा देता है, पूरी तरह डिवाइस पर ही
सामान्य प्रश्न
क्या मॉडल लोकली चलाने के लिए मुझे API की चाहिए?
नहीं। लोकल रन आपकी अपनी मशीन की मॉडल फ़ाइल और एक बिल्ट-इन इनफरेंस सर्वर का उपयोग करते हैं, इसलिए प्रति टोकन कोई बिलिंग नहीं होती और कोई की नहीं चाहिए। की तभी चाहिए जब Maestro किसी रिक्वेस्ट को क्लाउड मॉडल पर भेजे, और वह की आपकी अपनी होती है: osFoundry न एक्सेस बेचता है, न मार्कअप जोड़ता है।
osFoundry लोकल और क्लाउड में फ़ैसला कैसे करता है?
रूटिंग Maestro अपने-आप संभालता है। जब भी रिक्वेस्ट आपकी मशीन की चलाने की क्षमता में समा जाती है, वह लोकल सर्वर को तरजीह देता है, और क्लाउड मॉडल पर तभी लौटता है जब काम को उसकी ज़रूरत हो। लोकल रनटाइम (GPU लेयरें, कॉन्टेक्स्ट आकार, कैश टाइप) आप कॉन्फ़िगर करते हैं, पर हर संदेश को हाथ से रूट करने की ज़रूरत नहीं।
लोकल सर्वर किस तरह के मॉडल और हार्डवेयर को सपोर्ट करता है?
यह आपकी मशीन के किसी फ़ोल्डर से GGUF-फ़ॉर्मैट मॉडल लोड करता है और उन्हें llama.cpp-शैली के रनटाइम से परोसता है। आप लेयरें GPU पर ऑफलोड कर सकते हैं, अपनी मेमोरी के हिसाब से कॉन्टेक्स्ट विंडो और KV-कैश क्वांटाइज़ेशन समायोजित कर सकते हैं, कई समानांतर रिक्वेस्ट स्लॉट चला सकते हैं, और कई GPU पर बाँट सकते हैं। कौन-सा मॉडल अच्छे से चलेगा यह आपकी RAM, VRAM और CPU पर निर्भर करता है।