osFoundry / Platform
Pipeline चरण
अपने AI pipeline के हर चरण को परिभाषित और वर्शन करें — retrieve, rerank, generate, post-process।
यह क्या है
पाइपलाइन चरण osFoundry Studio का वह हिस्सा है जहाँ आप एक AI वर्कफ़्लो को एक ही अपारदर्शी प्रॉम्प्ट के बजाय नामित, क्रमबद्ध चरणों में बाँटते हैं। एक सामान्य रिट्रीवल-आधारित पाइपलाइन रिट्रीव → रीरैंक → जनरेट → पोस्ट-प्रोसेस के क्रम में चलती है, और यहाँ इनमें से हर एक अलग चरण बन जाता है जिसे आप स्वतंत्र रूप से कॉन्फ़िगर, जाँच और बदल सकते हैं। रिट्रीव आपके ज्ञान और डेटा से संभावित संदर्भ खींचता है; रीरैंक उसे सिर्फ़ उतने तक सीमित करता है जो वास्तव में मायने रखता है; जनरेट एक मॉडल को कॉल करता है; और पोस्ट-प्रोसेस आउटपुट के पाइपलाइन छोड़ने से पहले उसे साफ़, मान्य या पुनर्गठित करता है। चूँकि चरण स्पष्ट हैं, आप ठीक-ठीक देख सकते हैं कि कोई उत्तर कहाँ से आया और गलत होने पर किस चरण को ठीक करना है।
osFoundry के भीतर, हर चरण Studio में परिभाषित होता है और वर्कस्पेस के बाकी हिस्से जैसी ही BYOK मॉडल परत से होकर चलता है, इसलिए आप हर चरण के लिए मॉडल चुनते हैं: रीरैंकिंग के लिए एक छोटा लोकल मॉडल, जनरेशन के लिए एक क्लाउड मॉडल, जो भी उपयुक्त हो, और आप बिना किसी रीसेलर मार्कअप के सीधे अपने प्रोवाइडर को भुगतान करते हैं। चरण वर्जन किए जाते हैं: जब आप किसी चरण का प्रॉम्प्ट, मॉडल या पैरामीटर बदलते हैं, तो पिछली परिभाषा सुरक्षित रहती है, इसलिए आप वर्जन की तुलना कर सकते हैं, किसी बिगाड़ को वापस पलट सकते हैं, और जान सकते हैं कि किस कॉन्फ़िगरेशन ने कोई परिणाम दिया। लोकल-फर्स्ट डेस्कटॉप वर्कस्पेस होने के नाते, आपकी पाइपलाइन परिभाषाएँ और वे जिस डेटा को छूती हैं, किसी होस्टेड सेवा से गुज़रने के बजाय आपके डिवाइस पर ही रह सकती हैं।
यह इसलिए मायने रखता है क्योंकि AI की ज़्यादातर गुणवत्ता समस्याएँ चरण की समस्याएँ होती हैं। जब रिट्रीवल गलत दस्तावेज़ लौटाता है, तो जनरेट चरण पर कितनी भी प्रॉम्प्ट-ट्यूनिंग उसे ठीक नहीं करती। चरणों को अलग करना और वर्जन करना अस्पष्ट "AI गलत है" को एक विशिष्ट, परखने योग्य सवाल में बदल देता है जो एक ही चरण के बारे में होता है, और आपको पाइपलाइन को उसी तरह सुधारने देता है जैसे आप किसी भी इंजीनियर्ड सिस्टम को सुधारते हैं: एक बार में एक बदलाव, ऐसे इतिहास के साथ जिस पर आप भरोसा कर सकें।
मुख्य क्षमताएँ
- एक AI पाइपलाइन को एकल विशाल प्रॉम्प्ट के बजाय क्रमबद्ध, नामित चरणों (रिट्रीव, रीरैंक, जनरेट, पोस्ट-प्रोसेस) के रूप में परिभाषित करें
- हर चरण को स्वतंत्र रूप से वर्जन करें, ताकि आप कॉन्फ़िगरेशन की तुलना कर सकें, किसी बिगाड़ को पलट सकें और देख सकें कि किस परिभाषा ने परिणाम दिया
- अपनी API चाबियों के साथ हर चरण के लिए मॉडल चुनें (लोकल, क्लाउड या सेल्फ-होस्टेड) और बिना मार्कअप के सीधे प्रोवाइडर को भुगतान करें
- गुणवत्ता समस्या को एक ही चरण तक सीमित करें: जानें कि दिक्कत रिट्रीवल, रीरैंकिंग, जनरेशन या पोस्ट-प्रोसेसिंग में है
- पाइपलाइन परिभाषाओं और उनके डेटा को होस्टेड सेवा से रूट करने के बजाय अपने डेस्कटॉप पर लोकल-फर्स्ट रखें
उपयोग के मामले
- RAG बिल्डर: रिट्रीव और रीरैंक को जनरेट से अलग रखता है, ताकि गलत उत्तर को प्रॉम्प्ट पर दोष देने के बजाय खराब रिट्रीवल तक ट्रेस किया जा सके
- ML इंजीनियर: ट्यूनिंग के दौरान हर चरण को वर्जन करता है, किसी नए रीरैंकर या जनरेशन मॉडल की पिछली परिभाषा से तुलना करके ही उसे स्थायी करता है
- प्राइवेसी के प्रति सजग टीम: लोकल ज्ञान पर रिट्रीवल चलाती है और पूरी पाइपलाइन परिभाषा डिवाइस पर रखती है, क्लाउड मॉडल केवल जनरेट चरण पर कॉल करती है
सामान्य प्रश्न
osFoundry की AI पाइपलाइन में कौन-कौन से चरण होते हैं?
एक आम पैटर्न है रिट्रीव → रीरैंक → जनरेट → पोस्ट-प्रोसेस: संभावित संदर्भ खींचना, उसे सबसे प्रासंगिक तक सीमित करना, मॉडल कॉल करना, फिर आउटपुट को मान्य या पुनर्गठित करना। आप अपने वर्कफ़्लो के लिए ज़रूरी चरण परिभाषित करते हैं और क्रम तय करते हैं; हर एक को अलग से कॉन्फ़िगर किया जाता है।
क्या मैं हर चरण के लिए अलग मॉडल इस्तेमाल कर सकता हूँ?
हाँ। osFoundry ब्रिंग-योर-ओन-की है, इसलिए हर चरण अलग मॉडल कॉल कर सकता है: रीरैंकिंग के लिए लोकल मॉडल, जनरेशन के लिए क्लाउड मॉडल, कहीं और सेल्फ-होस्टेड मॉडल, आपकी अपनी API चाबियों से, बिना किसी रीसेलर मार्कअप के।
किसी चरण को वर्जन करने से वास्तव में क्या मिलता है?
जब आप किसी चरण का प्रॉम्प्ट, मॉडल या पैरामीटर बदलते हैं, तो पहले वाली परिभाषा रखी जाती है। आप वर्जन की तुलना कर सकते हैं, किसी बदलाव से परिणाम बिगड़ने पर वापस पलट सकते हैं, और किसी आउटपुट को उसी सटीक चरण कॉन्फ़िगरेशन से जोड़ सकते हैं जिसने उसे बनाया।