osFoundry / Platform
पब्लिक ऐप रेट लिमिटिंग
पब्लिक ऐप्स पर ट्यून करने योग्य प्रति-IP और प्रति-टोकन रेट लिमिट्स। डिफ़ॉल्ट जो hug of death संभालते हैं।
यह क्या है
osFoundry की पब्लिक ऐप रेट लिमिटिंग किसी भी सार्वजनिक रूप से चलाए जा रहे ऐप के आगे एक कॉन्फ़िगर करने योग्य थ्रॉटल लगा देती है। सीमाएँ दो तरीकों से तय होती हैं, जो साथ मिलकर काम करती हैं: पर-IP, जो यह सीमित करती है कि एक ही क्लाइंट पता किसी तय समय-खिड़की में कितने अनुरोध भेज सकता है, और पर-टोकन, जो किसी खास एक्सेस टोकन या API की से जुड़े इस्तेमाल को सीमित करती है। पर-IP सीमा एक ही स्रोत से आई बाढ़ को कुंद कर देती है; पर-टोकन सीमा किसी साझा या लीक हुई क्रेडेंशियल को आपके कोटे के साथ भाग जाने से रोकती है। चूँकि osFoundry ब्रिंग-योर-ओन-की (BYOK) पर चलता है, आपका पब्लिक ऐप मॉडलों तक जो अनुरोध भेजता है, उनका बिल आख़िरकार आपकी अपनी कीज़ पर ही चढ़ता है, इसलिए बिना सीमा वाला एंडपॉइंट सिर्फ़ लोड की नहीं, बल्कि बिलिंग की भी समस्या है। रेट लिमिट वही सरहद है जो किसी स्पाइक को आपके प्रोवाइडर बिल पर अचानक झटके में बदलने से रोकती है।
osFoundry के भीतर यह सुविधा Apps & Backend परत में रहती है, ठीक उसी जगह जहाँ ऐप को पैकेज और एक्सपोज़ करने के बाक़ी तरीक़े मौजूद हैं। जब आप किसी ऐप को पब्लिक करते हैं, तब सीमाएँ पहले से ही ऐसी डिफ़ॉल्ट के साथ चालू रहती हैं जो "हग ऑफ़ डेथ" यानी अचानक भारी ट्रैफ़िक झेलने के लिए चुनी गई हैं, वह पल जब कोई लिंक बड़े पैमाने पर साझा होता है और ट्रैफ़िक आपकी योजना से तेज़ आ पहुँचता है। ऐप के गिरने या किसी की के चुक जाने के बजाय, ज़्यादा अनुरोध किनारे (एज) पर ही लौटा दिए जाते हैं ताकि जायज़ ट्रैफ़िक बहता रहे। इसके आगे हर सीमा समायोज्य है: जिस ऐप के व्यस्त रहने की उम्मीद हो उसकी छत ऊँची कर दें, किसी प्रयोगात्मक चीज़ के लिए इसे कस दें, या हर क्रेडेंशियल पर अलग पर-टोकन सीमा तय करें ताकि अलग-अलग उपभोक्ताओं को अलग बजट मिले।
यह इसलिए मायने रखता है क्योंकि एक पब्लिक AI ऐप की लागत-सतह वैसी होती है जैसी अधिकतर स्टैटिक साइटों की नहीं होती। एक साझा URL, एक स्क्रैपर, या एक बेक़ाबू क्लाइंट मिनटों में हज़ारों मॉडल कॉल पैदा कर सकता है। पर-IP और पर-टोकन सीमाएँ आपको एक पूर्वानुमेय सबसे-बुरा हाल देती हैं: आप तय करते हैं कि ना कहना शुरू करने से पहले आपका ऐप कितना अधिकतम ख़र्च और लोड झेल सकता है। osFoundry के लोकल-फ़र्स्ट, बिना रीसेलर मार्कअप वाले मॉडल के साथ मिलकर, आपकी कीज़, आपका डेटा, और अब उन एंडपॉइंट्स का एक्सपोज़र भी आपके पास रहता है जिनके पीछे वे कीज़ बैठी हैं।
मुख्य क्षमताएँ
- पर-IP अनुरोध सीमा तय करें ताकि तय समय-खिड़की में कोई एक क्लाइंट पता किसी पब्लिक ऐप को कितना छू सकता है, यह बँध जाए
- पर-टोकन सीमा तय करें ताकि किसी खास एक्सेस टोकन या API की को, स्रोत IP से स्वतंत्र, अपना अलग इस्तेमाल बजट मिले
- बिना किसी मैनुअल सेटअप के, "हग ऑफ़ डेथ" यानी साझा लिंक के अचानक स्पाइक को सोखने के लिए तैयार डिफ़ॉल्ट के साथ आता है
- ज़्यादा अनुरोध किनारे पर ही लौटा देता है ताकि कोई बाढ़ आपके ऐप जिन BYOK प्रोवाइडर कीज़ पर ख़र्च करता है, उन्हें न चूस सके
- जैसे-जैसे ऐप का असली ट्रैफ़िक साफ़ होता है, हर छत को प्रति-ऐप और प्रति-क्रेडेंशियल ऊपर या नीचे समायोजित करें
उपयोग के मामले
- इंडी बिल्डर: एक पब्लिक डेमो लिंक साझा करता है जो अनपेक्षित रूप से वायरल हो जाता है और रातोंरात कोई API की चुका देने के बजाय डिफ़ॉल्ट सीमाओं के भरोसे उसे चालू रखता है
- टीम लीड: पार्टनरों को अलग-अलग एक्सेस टोकन जारी करता है और हर एक पर पर-टोकन बजट तय करता है ताकि एक इंटीग्रेशन बाक़ी को भूखा न मार दे
- ऑप्स-केंद्रित डेवलपर: किसी प्रयोगात्मक एंडपॉइंट पर पर-IP सीमाएँ कस देता है ताकि प्रोडक्शन में भेजने से पहले सबसे-बुरे हाल की लागत और लोड बँधी रहे
सामान्य प्रश्न
पर-IP और पर-टोकन रेट लिमिट में क्या फ़र्क है?
पर-IP एक ही क्लाइंट पते से आए अनुरोधों को सीमित करती है, जो एक ही स्रोत से आई बाढ़ को रोक देती है। पर-टोकन किसी खास एक्सेस टोकन या API की से जुड़े इस्तेमाल को सीमित करती है, चाहे उसे कहीं से भी कॉल किया जाए, जो किसी साझा या लीक हुई क्रेडेंशियल को क़ाबू में रखती है। आप दोनों एक साथ इस्तेमाल कर सकते हैं: गुमनाम पब्लिक ट्रैफ़िक के लिए पर-IP, और नामित उपभोक्ताओं को उनका अपना बजट देने के लिए पर-टोकन।
जब मेरे पब्लिक ऐप पर अचानक बहुत ट्रैफ़िक आ जाए तो क्या होता है?
पब्लिक ऐप ऐसी डिफ़ॉल्ट सीमाओं के साथ आते हैं जो "हग ऑफ़ डेथ" को संभालने के लिए चुनी गई हैं, यानी वह लिंक जो उम्मीद से कहीं ज़्यादा दूर तक साझा हो जाए। सीमा से ऊपर के अनुरोध आगे भेजने के बजाय लौटा दिए जाते हैं, इसलिए कोई स्पाइक न तो आपके ऐप जिस प्रोवाइडर की पर ख़र्च करता है उसे चूस सकता है, न ऐप को गिरा सकता है। जिन ऐप के व्यस्त रहने की उम्मीद हो, उनकी सीमाएँ आप बढ़ा सकते हैं।
क्या ऐप को पब्लिक करने से पहले मुझे रेट लिमिट कॉन्फ़िगर करनी पड़ती है?
नहीं। ऐप को पब्लिक करते ही समझदार डिफ़ॉल्ट पहले से लागू रहती हैं, इसलिए बिना किसी सेटअप के आप सुरक्षित रहते हैं। जब चाहें सब कुछ समायोज्य है: पर-IP छत ऊपर-नीचे करें, या हर क्रेडेंशियल पर पर-टोकन सीमा तय करें, लेकिन सुरक्षित आधार शुरू से ही चालू रहता है।