osFoundry / Platform
ऑटो-चंकिंग pipeline
स्मार्ट चंकिंग जो सेक्शन्स, कोड ब्लॉक्स और सूचियों का सम्मान करती है। प्रति फ़ोल्डर ट्यून करने योग्य।
यह क्या है
ऑटो-चंकिंग पाइपलाइन रिट्रीवल और एम्बेडिंग के लिए osFoundry का दस्तावेज़ स्प्लिटर है। किसी टेक्स्ट को सिमैंटिक रूप से खोजने या मॉडल को संदर्भ के रूप में देने से पहले उसे टुकड़ों में बाँटना ज़रूरी होता है। साधारण स्प्लिटर एक तय संख्या में अक्षरों पर काट देते हैं, जिससे अक्सर कोई फ़ंक्शन बीच से कट जाता है, कोई क्रमांकित लिस्ट दो चंक में बँट जाती है, या कोई हेडिंग उस पैराग्राफ़ से अलग हो जाती है जिसका वह परिचय देती है। osFoundry की पाइपलाइन संरचना-सजग है: यह पहले दस्तावेज़ की अपनी सीमाओं को पढ़ती है और उन्हीं के साथ काटती है, ताकि हर सेक्शन अपने सेक्शन के साथ रहे, कोड ब्लॉक बरकरार रहे और लिस्ट लिस्ट ही बनी रहे।
osFoundry के भीतर, चंकिंग आपके ज्ञान और एम्बेडिंग व रिट्रीवल परत के बीच के चरण के रूप में चलती है। जब आप किसी फ़ोल्डर में दस्तावेज़ जोड़ते हैं, तो पाइपलाइन उनकी संरचना को पार्स करती है, ऐसे चंक बनाती है जो इन प्राकृतिक सीमाओं को बनाए रखते हैं, और उन्हें एम्बेडिंग चरण को सौंप देती है। चंकिंग और रिट्रीवल लोकल-फर्स्ट होते हैं, इसलिए आपके स्रोत दस्तावेज़ किसी तीसरे पक्ष की इंडेक्सिंग सेवा को भेजे जाने के बजाय आपके डिवाइस पर ही रह सकते हैं। एम्बेडिंग एकमात्र प्लेटफ़ॉर्म-भुगतान वाला चरण है (osFoundry के प्रॉक्सी के ज़रिए); चैट और एजेंट के लिए आप जो मॉडल लाते हैं वे आपकी अपनी कुंजियों पर चलते हैं, बिना किसी रीसेलर मार्कअप के। इसका मतलब है कि वही कॉर्पस एक ही जगह से चैट, एजेंट, ऐप्स और खोज को फ़ीड करता है, और कोई प्रति-सीट शुल्क यह तय नहीं करता कि उस पर कौन निर्माण कर सकता है।
चंक का आकार हर स्थिति के लिए एक जैसा नहीं होता, इसलिए पाइपलाइन हर फ़ोल्डर के लिए ट्यून करने योग्य है। API रेफ़रेंस और सोर्स कोड वाले फ़ोल्डर को लंबे गद्य या मीटिंग नोट्स वाले फ़ोल्डर से अलग सीमाएँ चाहिए। आप व्यवहार को फ़ोल्डर स्तर पर सेट करते हैं, ताकि हर ज्ञान-संग्रह उसी तरह चंक हो जैसे वह वास्तव में पढ़ा जाता है, और किसी फ़ोल्डर को फिर से इंडेक्स करने पर केवल बदला हुआ हिस्सा ही दोबारा चंक होता है। बेहतर चंक का अर्थ है सटीक रिट्रीवल: आपके मॉडल जो अंश देखते हैं वे सुसंगत और आत्मनिर्भर होते हैं, जिससे वह शोर घटता है जो आगे चलकर कमज़ोर या भ्रामक उत्तरों का कारण बनता है।
मुख्य क्षमताएँ
- दस्तावेज़ की वास्तविक संरचना पर विभाजन करता है, सेक्शन, कोड ब्लॉक और लिस्ट को बरकरार रखते हुए, न कि अंधाधुंध अक्षर-गिनती पर काटते हुए
- हर फ़ोल्डर के लिए ट्यून करने योग्य, ताकि रेफ़रेंस दस्तावेज़, सोर्स कोड और लंबे गद्य को अपने अनुकूल चंक सीमाएँ मिलें
- osFoundry की एम्बेडिंग और रिट्रीवल परत को फ़ीड करता है, RAG और सिमैंटिक खोज के लिए साफ़-सुथरे अंश तैयार करता है
- लोकल-फर्स्ट चलता है, ताकि स्रोत दस्तावेज़ किसी तीसरे पक्ष के इंडेक्सर के बजाय आपके डिवाइस पर रह सकें
- रिट्रीव किए गए संदर्भ का उपयोग करने वाले चैट और एजेंट में BYOK, बिना प्रति-सीट शुल्क और बिना रीसेलर मार्कअप के
उपयोग के मामले
- आंतरिक RAG असिस्टेंट बनाने वाला इंजीनियर: किसी रिपॉज़िटरी के दस्तावेज़ और कोड को फ़ंक्शन को बीच से काटे बिना चंक करता है, ताकि उत्तर पूरे उदाहरण उद्धृत करें
- लंबी रिपोर्ट इंडेक्स करने वाला विश्लेषक: हर सेक्शन और उसकी तालिकाओं को साथ रखता है, ताकि रिट्रीवल सुसंगत और आत्मनिर्भर अंश लौटाए
- मिश्रित ज्ञान संभालने वाला टीम लीड: गद्य फ़ोल्डर और कोड फ़ोल्डर को अलग-अलग ढंग से चंक करने के लिए सेट करता है, हर कॉर्पस के अनुसार रिट्रीवल गुणवत्ता को ट्यून करता है
सामान्य प्रश्न
यह फ़िक्स्ड-साइज़ चंकिंग से कैसे अलग है?
फ़िक्स्ड-साइज़ स्प्लिटर सामग्री की परवाह किए बिना हर N अक्षर पर काट देते हैं, जिससे कोड ब्लॉक, लिस्ट और हेडिंग टूट जाती हैं। osFoundry पहले दस्तावेज़ की संरचना पढ़ता है और सेक्शन, कोड-ब्लॉक तथा लिस्ट सीमाओं पर काटता है, ताकि हर चंक सुसंगत और आत्मनिर्भर बना रहे।
क्या मैं अलग-अलग प्रकार की सामग्री के लिए चंक व्यवहार नियंत्रित कर सकता हूँ?
हाँ। चंकिंग हर फ़ोल्डर के लिए ट्यून करने योग्य है, इसलिए सोर्स कोड या API रेफ़रेंस वाले फ़ोल्डर को लंबे गद्य या नोट्स वाले फ़ोल्डर से अलग ढंग से चंक किया जा सकता है। हर ज्ञान-संग्रह को उसकी वास्तविक पठन-शैली से मेल खाती सीमाएँ मिलती हैं।
चंकिंग के दौरान मेरा डेटा कहाँ जाता है?
चंकिंग और रिट्रीवल लोकल-फर्स्ट चलते हैं, इसलिए आपके स्रोत दस्तावेज़ आपके डिवाइस पर ही रह सकते हैं। एम्बेडिंग एकमात्र प्लेटफ़ॉर्म-भुगतान वाला चरण है, जो osFoundry के प्रॉक्सी के ज़रिए होता है; चैट और एजेंट के लिए आप जो मॉडल उपयोग करते हैं वे आपकी अपनी कुंजियों पर चलते हैं, बिना किसी रीसेलर मार्कअप के।