osFoundry / Platform
Hot-swap LoRA
एक चलते बेस मॉडल पर 50ms से कम में LoRA अडैप्टर्स स्वैप करें। अलग व्यक्तित्व, वही वेट्स।
यह क्या है
Hot-swap LoRA आपको फाइन-ट्यून की गई मॉडल पर्सनैलिटी के बीच बेस मॉडल को दोबारा लोड किए बिना 50 मिलीसेकंड से कम में स्विच करने देता है। एक LoRA (Low-Rank Adaptation) अडैप्टर वेट डेल्टा का एक छोटा सेट होता है, आम तौर पर कुछ ही मेगाबाइट का, जो कहीं बड़े बेस मॉडल को किसी खास टोन, टास्क या डोमेन की ओर मोड़ देता है। अडैप्टर बहुत छोटा होता है और बेस वेट साझा रहते हैं, इसलिए आप एक बेस मॉडल मेमोरी में रख सकते हैं और दर्जनों अडैप्टर के बीच उतनी ही तेजी से पलट सकते हैं जितनी तेजी से कोई सेटिंग बदलते हैं। पर्सोना अलग, वेट वही।\n\nosFoundry के भीतर यह पूरी तरह आपके डिवाइस पर चलता है। osFoundry एक local-first डेस्कटॉप AI वर्कस्पेस है, और इसका लोकल रनटाइम बेस मॉडल को मेमोरी में बनाए रखता है जबकि अडैप्टर उसके ऊपर जुड़ते और अलग होते रहते हैं। डिस्क से कई गीगाबाइट का नया मॉडल लोड करने में कुछ सेकंड और पूरा GPU वॉर्म-अप लगता है; पहले से लोड वेट पर LoRA अडैप्टर चढ़ाना यह सब छोड़ देता है, और 50ms से कम का आंकड़ा यहीं से आता है। आप किसी चैट, एजेंट या पाइपलाइन रोल को किसी अडैप्टर की ओर इशारा करते हैं, और अगला मैसेज उसी पर्सोना से होकर चलता है, चाहे वह कस्टमर-सपोर्ट की आवाज़ हो, कोड रिव्यूअर हो या लीगल-समरी स्टाइल, बिना मॉडल को तोड़कर दोबारा बनाए। फिर से स्विच करें और आप उतनी ही तेजी से बेस पर या किसी दूसरे अडैप्टर पर लौट आते हैं।\n\nयह इसलिए मायने रखता है क्योंकि यह एक डाउनलोड किए हुए बेस मॉडल को लगभग बिना किसी लागत के विशेषज्ञों की पूरी अलमारी में बदल देता है। आप हर पर्सोना के लिए अलग मॉडल न खरीदते हैं, न डाउनलोड करते हैं, न GPU में लोड करते हैं, और चूंकि osFoundry bring-your-own-key और local-first है, इसलिए न प्रति-सीट शुल्क है और न इन्फरेंस पर कोई रीसेलर मार्कअप: बेस मॉडल और अडैप्टर आप देते हैं, और इन्फरेंस आपकी मशीन पर ही रहता है। यह उन मल्टी-एजेंट सेटअप के लिए व्यावहारिक रूप से फिट बैठता है जहां हर एजेंट को अपना व्यवहार चाहिए, और उस प्राइवेसी-संवेदनशील काम के लिए जहां हर पर्सोना को चलाने वाला डेटा कभी डिवाइस से बाहर नहीं जाना चाहिए।
मुख्य क्षमताएँ
- पहले से लोड बेस मॉडल पर LoRA अडैप्टर 50ms से कम में बदलें, कई गीगाबाइट के बेस वेट को दोबारा लोड किए बिना
- एक बेस मॉडल मेमोरी में रखें और उसके ऊपर कई लो-रैंक अडैप्टर चढ़ाएं, ताकि पर्सोना बदलने में कोल्ड स्टार्ट नहीं, बस एक पॉइंटर स्वैप लगे
- हर पर्सोना को osFoundry के लोकल रनटाइम में डिवाइस पर ही चलाएं, ताकि आपके प्रॉम्प्ट, अडैप्टर और आउटपुट कभी आपकी मशीन से बाहर न जाएं
- हर एजेंट, चैट या पाइपलाइन रोल को एक अलग फाइन-ट्यून अडैप्टर सौंपें और सेशन के बीच में उनके बीच स्विच करें
- अपने बेस मॉडल और अपने अडैप्टर खुद लाएं, न प्रति-सीट शुल्क, न इन्फरेंस पर कोई रीसेलर मार्कअप
उपयोग के मामले
- सोलो बिल्डर: एक 7B बेस मॉडल लोड रखता है और टैब के बीच एक कोडिंग अडैप्टर, एक राइटिंग अडैप्टर और एक समराइज़र अडैप्टर के बीच स्विच करता है, हर बार मॉडल के दोबारा लोड होने का इंतज़ार किए बिना
- मल्टी-एजेंट ऑर्केस्ट्रेटर: पाइपलाइन के हर एजेंट को एक अलग फाइन-ट्यून LoRA सौंपता है, ताकि एक रिसर्चर, एक क्रिटिक और एक एडिटर सभी एक ही साझा बेस वेट पर अपनी-अपनी आवाज़ में चलें
- प्राइवेसी के प्रति सजग टीम: डोमेन-विशिष्ट पर्सोना पूरी तरह डिवाइस पर चलाती है, ताकि हर पर्सोना को गढ़ने वाले संवेदनशील प्रॉम्प्ट और आउटपुट कभी लोकल मशीन से बाहर न जाएं
सामान्य प्रश्न
LoRA अडैप्टर को हॉट-स्वैप करना किसी दूसरे मॉडल को लोड करने से तेज़ क्यों है?
दूसरा मॉडल लोड करने में डिस्क से कई गीगाबाइट वेट पढ़े जाते हैं और GPU वॉर्म-अप होता है, जिसमें कुछ सेकंड लगते हैं। एक LoRA अडैप्टर सिर्फ कुछ मेगाबाइट के लो-रैंक डेल्टा होते हैं जो पहले से मेमोरी में मौजूद बेस वेट पर जुड़ जाते हैं, इसलिए स्वैप एक छोटा इन-मेमोरी ऑपरेशन होता है, कोल्ड स्टार्ट नहीं: osFoundry के लोकल रनटाइम में 50ms से कम।
क्या मुझे हर पर्सोना के लिए एक अलग बेस मॉडल चाहिए?
नहीं। यही तो इस फीचर का मकसद है। एक बेस मॉडल लोड रहता है, और हर पर्सोना बस उन्हीं वेट पर चढ़ा एक अलग अडैप्टर है। आप बेस को एक बार डाउनलोड कर के रखते हैं, फिर छोटे अडैप्टर की एक अलमारी बनाकर उनके बीच स्विच करते हैं, बजाय हर पर्सोना के लिए एक पूरा मॉडल स्टोर करने और GPU में लोड करने के।
क्या अडैप्टर स्वैपिंग मेरी मशीन पर होती है या क्लाउड में?
आपकी मशीन पर। osFoundry एक local-first डेस्कटॉप वर्कस्पेस है और लोकल मॉडल को अपने ऑन-डिवाइस रनटाइम से चलाता है, इसलिए बेस मॉडल, अडैप्टर और हर पर्सोना से गुज़रने वाला डेटा आपके डिवाइस पर ही रहता है। यह bring-your-own-key है, न प्रति-सीट शुल्क, न इन्फरेंस पर कोई मार्कअप।