osFoundry / Platform
250K+ पब्लिक डेटासेट्स
एक चौथाई मिलियन पब्लिक डेटासेट्स से ब्राउज़ और इम्पोर्ट करें — पूर्व-इंडेक्स्ड, फ़ाइन-ट्यूनिंग के लिए तैयार।
यह क्या है
osFoundry का पब्लिक डेटासेट कैटलॉग आपको पब्लिक Hugging Face Datasets हब से मिरर किए गए 2,50,000 से अधिक ओपन डेटासेट तक खोज-आधारित पहुँच देता है, जिनमें टेक्स्ट, इमेज, ऑडियो, वीडियो, टैबुलर और मल्टीमॉडल डेटा शामिल है। लोडर स्क्रिप्ट लिखने या डेटासेट कार्ड एक-एक करके छानने के बजाय, आप सीधे अपने workspace के भीतर ब्राउज़ और फ़िल्टर करते हैं: टास्क श्रेणी (टेक्स्ट जनरेशन, क्लासिफ़िकेशन, प्रश्न-उत्तर, स्पीच रिकग्निशन, ऑब्जेक्ट डिटेक्शन आदि) से, भाषा से, साइज़ बकेट से और लाइसेंस से। फिर जो चाहिए उसे दो-चार क्लिक में इंपोर्ट कर लेते हैं। हर लिस्टिंग में वही मेटाडेटा होता है जो प्रतिबद्ध होने से पहले सचमुच मायने रखता है: रो-गिनती, लाइसेंस शर्तें, टास्क टैग, सोर्स URL और अपने-आप बनी BibTeX साइटेशन।
कैटलॉग पहले से इंडेक्स किया हुआ है, और यही खोज को तेज़ बनाता है: osFoundry हर डेटासेट का मेटाडेटा कैश कर रखता है, इसलिए ढाई लाख एंट्रियों में फ़िल्टर करना तुरंत होता है, और असली डेटा किसी वेयरहाउस में पड़ा रहने के बजाय पहली बार इस्तेमाल पर अपस्ट्रीम सोर्स से लोड होता है, जिसे रखने का शुल्क आप नहीं देते। एक बार डेटासेट चुनने पर वह osFoundry के उसी हिस्से में चला जाता है जहाँ आप काम कर रहे हैं। किसी बेस मॉडल की फाइन-ट्यूनिंग के लिए इसे Train पेज पर भेजें: osFoundry एक GPU सर्वर प्रोविज़न करता है, जॉब चलाता है और बने LoRA अडैप्टर को आपके इन्फ़रेंस फ़्लीट पर हॉट-स्वैप के लिए तैयार रखता है। इसे किसी नॉलेज बेस में इंपोर्ट करें ताकि हर रो आपके एजेंट्स के लिए खोजने, साइट करने और रिट्रीव करने योग्य बन जाए। या इस पर कोई इवैल्यूएशन चलाकर मॉडलों को आमने-सामने बेंचमार्क करें।
चूँकि osFoundry bring-your-own-key और local-first है, आपके डेटा और आपकी लागत के मामले में सब कुछ पारदर्शी रहता है: यह आपका workspace है, आपकी keys हैं, और इन डेटासेट पर जो मॉडल आप ट्रेन या रन करते हैं उन पर कोई रिसेलर मार्कअप नहीं। लाइसेंस शर्तें हर डेटासेट के साथ दिखती हैं (permissive, share-alike, non-commercial, public-domain या custom), ताकि आप किसी कॉर्पस पर काम शुरू करने से पहले ही जान लें कि वह कमर्शियल फाइन-ट्यूनिंग के लिए सुरक्षित है या नहीं, बाद में पता चलने के बजाय।
मुख्य क्षमताएँ
- workspace छोड़े बिना 2.5 लाख+ पब्लिक डेटासेट को टास्क, भाषा, साइज़ और लाइसेंस से खोजें और फ़िल्टर करें
- पहले से इंडेक्स मेटाडेटा से ढाई लाख एंट्रियों में फ़िल्टर तुरंत; असली डेटा पहली बार इस्तेमाल पर सोर्स से लोड होता है
- फाइन-ट्यूनिंग तक एक-क्लिक रूटिंग: osFoundry एक GPU सर्वर प्रोविज़न करता है और LoRA अडैप्टर को हॉट-स्वैप के लिए तैयार रखता है
- किसी भी डेटासेट को नॉलेज बेस में इंपोर्ट करें ताकि रो एजेंट्स के लिए खोजने, साइट करने और रिट्रीव करने योग्य बनें
- हर डेटासेट का लाइसेंस, रो-गिनती, टास्क टैग, सोर्स URL और अपने-आप बनी BibTeX प्रतिबद्ध होने से पहले दिखते हैं
उपयोग के मामले
- ML इंजीनियर: CC-BY टेक्स्ट-जनरेशन डेटासेट तक फ़िल्टर करें, उसे Train पर भेजें और अपने ही GPU सर्वर पर बेस मॉडल को LoRA अडैप्टर में फाइन-ट्यून करें
- एजेंट बिल्डर: किसी Q&A डेटासेट को नॉलेज बेस में इंपोर्ट करें ताकि एजेंट रनटाइम पर असली उदाहरण रिट्रीव और साइट कर सकें
- शोधकर्ता: किसी बेंचमार्क डेटासेट पर इवैल्यूएशन चलाकर कई मॉडलों को आमने-सामने स्कोर करें, फिर अपने-आप बनी BibTeX को पेपर में पेस्ट करें
सामान्य प्रश्न
ये 2.5 लाख+ डेटासेट कहाँ से आते हैं?
ये पब्लिक Hugging Face Datasets कैटलॉग से मिरर किए गए हैं। osFoundry मेटाडेटा को पहले से इंडेक्स और कैश करता है ताकि खोज और फ़िल्टरिंग तेज़ हो; असली डेटा पहली बार इस्तेमाल पर अपस्ट्रीम सोर्स से लोड होता है, किसी ऐसे स्टोर में कॉपी नहीं किया जाता जिसे रखने का शुल्क आप दें।
क्या मैं इन डेटासेट को कमर्शियल फाइन-ट्यूनिंग के लिए इस्तेमाल कर सकता हूँ?
यह हर डेटासेट के लाइसेंस पर निर्भर करता है, जिसे osFoundry हर लिस्टिंग पर दिखाता है: permissive (CC-BY, Apache-2, MIT), share-alike, non-commercial, public-domain या custom। permissive और public-domain डेटासेट आमतौर पर एट्रिब्यूशन के साथ कमर्शियल इस्तेमाल के लिए सुरक्षित होते हैं; non-commercial और बिना स्पष्ट लाइसेंस वाले नहीं। किसी कॉर्पस पर काम शुरू करने से पहले लाइसेंस बैज ज़रूर देखें।
डेटासेट इंपोर्ट करने के बाद उससे असल में क्या कर सकता हूँ?
तीन मुख्य रास्ते: Train पेज पर बेस मॉडल की फाइन-ट्यूनिंग (osFoundry एक GPU सर्वर चालू करता है और LoRA अडैप्टर तैयार रखता है), किसी नॉलेज बेस को सीड करना ताकि एजेंट रो खोज और साइट कर सकें, या मॉडलों को उसके सापेक्ष बेंचमार्क करने के लिए इवैल्यूएशन चलाना। चूँकि osFoundry BYOK और local-first है, आप बिना किसी रिसेलर मार्कअप के अपनी keys इस्तेमाल करते हैं।