osFoundry / Platform
मल्टी चैट
एक ही प्रॉम्प्ट को दो या अधिक मॉडल्स पर साथ-साथ चलाएँ। उत्तर, लागत, लेटेंसी की तुलना करें — विजेता चुनें।
यह क्या है
Multi Chat एक ही prompt को दो या अधिक मॉडल पर एक साथ चलाता है और उनके जवाबों को एक ही view में साथ-साथ रख देता है। एक ही सवाल को अलग-अलग tabs में paste करके अंतर अपने दिमाग में रखने के बजाय, आप एक बार भेजते हैं और जवाबों को समानांतर columns में पढ़ते हैं. यह osFoundry के AI & Orchestration हिस्से में रहता है, इसलिए जिन मॉडलों की आप तुलना करते हैं वे कुछ भी हो सकते हैं जो आपने configure किए हों: आपकी अपनी machine पर चलने वाला local मॉडल, आपकी अपनी API key के पीछे का cloud मॉडल, या एक self-hosted endpoint. चूंकि osFoundry bring-your-own-key है, हर मॉडल के लिए जो लागत आप देखते हैं वह आपके provider की असली दर है, ऊपर से किसी reseller का कोई markup नहीं.
हर column मॉडल के जवाब के साथ वे आंकड़े दिखाता है जो असल में तय करते हैं कि आप किसे रखेंगे: उस call की लागत कितनी रही और जवाब देने में कितना समय लगा. इससे "यह वाला बेहतर लगा" जैसी अस्पष्ट भावना आपके खास prompt के लिए गुणवत्ता, कीमत और latency की सीधी तुलना बन जाती है. रोज़मर्रा के काम के लिए एक सस्ता, तेज़ मॉडल ही काफी हो सकता है, जबकि धीमा या महंगा मॉडल अपनी जगह सिर्फ़ उन्हीं prompts पर बनाता है जो कठिन हैं. Multi Chat आपको यह रेखा benchmark पर नहीं, बल्कि अपने असली inputs पर परखकर खोजने देता है.
मकसद है आपके सामने मौजूद काम के लिए विजेता चुनना और उसी के साथ आगे बढ़ना. तुलना चलाइए, देखिए कि कौन-सा मॉडल आपकी मनचाही लागत और गति पर मनचाहा जवाब देता है, और उसी पर standardize कीजिए: कोई अनुमान नहीं, अगले उम्मीदवार को आज़माने की कोई switching cost नहीं. चूंकि सब कुछ local-first desktop workspace के भीतर चलता है, आपके prompts और जवाब किसी तीसरे पक्ष की बीच की परत से गुज़रने के बजाय आपके device पर ही रह सकते हैं.
मुख्य क्षमताएँ
- एक ही prompt दो या अधिक मॉडल पर एक साथ भेजें और हर जवाब समानांतर columns में पढ़ें
- अपनी API key की असली दरों पर प्रति-जवाब लागत की तुलना करें, कोई reseller markup जोड़े बिना
- हर मॉडल की latency देखें ताकि पता चले कौन-सा मॉडल इस काम के लिए काफी तेज़ है
- एक ही workspace से local, cloud और self-hosted मॉडल एक ही तुलना में मिलाएं
- विजेता मॉडल अपने असली inputs पर चुनें, किसी सामान्य benchmark score पर नहीं
उपयोग के मामले
- Developer: एक ही coding prompt को एक local मॉडल और दो cloud मॉडल पर परखें ताकि सबसे सस्ता वह मिले जो फिर भी सही जवाब देता है
- Prompt engineer: शब्दों को सुधारते जाएं और तुरंत देखें कि नई phrasing को गुणवत्ता, लागत और गति में कौन-सा मॉडल सबसे अच्छा संभालता है
- Providers परख रहे team lead: प्रतिनिधि prompts साथ-साथ चलाकर तय करें कि पक्की प्रतिबद्धता से पहले team को किस मॉडल पर standardize करना है
सामान्य प्रश्न
मैं एक बार में कितने मॉडल की तुलना कर सकता हूं?
Multi Chat एक ही prompt को दो या अधिक मॉडल पर साथ-साथ चलाता है. कौन-से मॉडल उपलब्ध हैं यह इस पर निर्भर करता है कि आपने osFoundry में क्या configure किया है (local, cloud या self-hosted), क्योंकि keys आपकी अपनी होती हैं.
लागत और latency के आंकड़े कहां से आते हैं?
लागत आपकी अपनी API key के तहत आपके provider की असली प्रति-token दर पर आधारित होती है, क्योंकि osFoundry bring-your-own-key है और कोई reseller markup नहीं जोड़ता. Latency आपके prompt पर हर मॉडल के असली response time से मापी जाती है.
क्या मेरे prompts osFoundry के servers पर भेजे जाते हैं?
osFoundry एक local-first desktop workspace है, इसलिए आपके prompts और जवाब आपके device पर ही रह सकते हैं. Calls आपकी अपनी keys से चुने हुए मॉडल पर सीधे जाती हैं; एक local मॉडल आपकी machine से बाहर कभी नहीं जाता.