osFoundry / Platform
बेंचमार्क्स
MMLU, GSM8K, HumanEval और अन्य पर साथ-साथ स्कोर। डेटा के साथ एक मॉडल चुनें।
यह क्या है
Benchmarks, osFoundry का मॉडल-तुलना व्यू है, जो एक bring-your-own-key (BYOK) डेस्कटॉप AI वर्कस्पेस है। यह उन मॉडलों के प्रकाशित बेंचमार्क स्कोर को, जिन्हें आप चला सकते हैं, एक ही टेबल में साथ-साथ रखता है। इससे किसी वेंडर के प्रचारित आँकड़े के आधार पर अनुमान लगाने के बजाय आप देख पाते हैं कि आपके काम से मेल खाने वाले कार्यों पर मॉडल कैसे टिकते हैं: व्यापक ज्ञान और तर्क के लिए MMLU, स्कूल-स्तर के गणित और बहु-चरणीय अंकगणित के लिए GSM8K, कोड जनरेशन के लिए HumanEval, और इनके साथ अन्य मानक सूट।
चूँकि osFoundry किसी भी मॉडल को (लोकल, क्लाउड, या सेल्फ-होस्टेड) एक ही वर्कस्पेस से चलाता है, इसलिए तुलना किसी एक प्रोवाइडर के कैटलॉग तक सीमित नहीं रहती। आप किसी होस्टेड फ्रंटियर मॉडल को उस छोटे open-weight मॉडल के मुकाबले तौल सकते हैं जिसे आप लोकल चलाते हैं, स्कोर एक ही कॉलम में पढ़ सकते हैं, और अपने उपयोग के लिए वही मॉडल चुन सकते हैं जिसे डेटा सचमुच समर्थन देता है। तय करने के बाद वह मॉडल पहले से ही आपकी अपनी API key के साथ उपयोग के लिए उपलब्ध है: प्रोवाइडर की कीमत पर कोई रीसेलर मार्कअप नहीं, और यहाँ जिस चीज़ का आप मूल्यांकन करते हैं उसे तुलना के लिए आपके डिवाइस से बाहर जाने की ज़रूरत नहीं।
मकसद एक टिकाऊ, बचाव-योग्य चुनाव है, न कि लीडरबोर्ड अपने आप में। MMLU में सबसे ऊपर रहने वाला मॉडल HumanEval में पीछे रह सकता है; कोई लोकल मॉडल GSM8K में इतना करीब स्कोर कर सकता है कि उसे निजी तौर पर और बिना प्रति-सीट लागत के चलाना बेहतर फैसला हो। Benchmarks इस अदला-बदली को तब उजागर करता है जब आप किसी मॉडल को चैट, एजेंट या पाइपलाइन में लगाने से पहले होते हैं, ताकि osFoundry में मॉडल चुनाव प्रतिष्ठा नहीं, आँकड़ों पर टिका रहे।
मुख्य क्षमताएँ
- MMLU, GSM8K, HumanEval और अन्य मानक सूट के स्कोर एक ही तुलना-टेबल में साथ-साथ
- उन्हीं मॉडलों को कवर करता है जिन्हें आप osFoundry में सचमुच चला सकते हैं (लोकल, क्लाउड, सेल्फ-होस्टेड), न कि किसी एक प्रोवाइडर का कैटलॉग
- बेंचमार्क को काम से मिलाएँ: ज्ञान और तर्क (MMLU), गणित (GSM8K), कोड (HumanEval)
- तय करें, फिर मॉडल को सीधे अपनी API key से चलाएं, प्रोवाइडर की कीमत पर कोई रीसेलर मार्कअप नहीं
- open-weight लोकल मॉडलों की होस्टेड फ्रंटियर मॉडलों से तुलना कर सटीकता, गोपनीयता और लागत में संतुलन बिठाएँ
उपयोग के मामले
- डेवलपर: किसी मॉडल को कोडिंग एजेंट में जोड़ने से पहले उम्मीदवार मॉडलों के HumanEval स्कोर की तुलना करें
- टीम लीड: जाँचें कि क्या कोई लोकल open-weight मॉडल MMLU और GSM8K पर इतना करीब स्कोर करता है कि उसे बिना प्रति-सीट शुल्क के निजी तौर पर चलाया जा सके
- शोधकर्ता: वर्कस्पेस के लिए एक बचाव-योग्य डिफ़ॉल्ट चुनने हेतु कई मॉडलों के प्रकाशित स्कोर एक ही व्यू में पंक्तिबद्ध करें
सामान्य प्रश्न
मैं मॉडलों की तुलना किन बेंचमार्क पर कर सकता हूँ?
साथ-साथ दिखाए गए मानक प्रकाशित सूट, जिनमें MMLU (व्यापक ज्ञान और तर्क), GSM8K (स्कूल-स्तर और बहु-चरणीय गणित), और HumanEval (कोड जनरेशन) शामिल हैं, तथा इनके साथ अन्य सूट भी सूचीबद्ध हैं ताकि आप मीट्रिक को अपने कार्य से मिला सकें।
क्या osFoundry खुद बेंचमार्क चलाता है?
यह व्यू उन मॉडलों के प्रकाशित बेंचमार्क स्कोर की तुलना करता है जिन्हें आप चला सकते हैं, ताकि आप डेटा-समर्थित मॉडल चुन सकें। यह मॉडल-चयन में सहायक है: मकसद है किसी मॉडल को चैट, एजेंट या पाइपलाइन में लगाने से पहले एक आधार-युक्त चुनाव।
बेंचमार्क से मॉडल चुनने के बाद मैं उसका उपयोग कैसे करूँ?
आप जिन मॉडलों की तुलना करते हैं वही हैं जिन्हें osFoundry चला सकता है: लोकल, क्लाउड, या सेल्फ-होस्टेड। चुनने के बाद आप उसे अपनी API key से प्रोवाइडर की कीमत पर उपयोग करते हैं, बिना किसी रीसेलर मार्कअप के, और लोकल मॉडल पूरी तरह आपके डिवाइस पर रह सकते हैं।