Home / Glossary / Context window

What is Context Window?

Context window एक LLM द्वारा एक request में process किए जाने वाले tokens की अधिकतम संख्या है (input + output combined)। आधुनिक models 4 K से 2 M tokens तक होते हैं। osFoundry का catalog हर model के लिए context window list करता है।

Detail

Tokens sub-word units हैं; औसतन ~3-4 characters English text प्रति token। एक 128 K context window लगभग 100,000 words रखता है। Window में system prompt, conversation history, retrieved context, AND model का generated reply शामिल है — हर हिस्सा limit के विरुद्ध counted है।

बड़े windows आपको अधिक context stuff करने देते हैं लेकिन प्रति request अधिक cost होती है और diminishing returns होते हैं — quality अक्सर 50-100 K से आगे degrade होती है। RAG जैसी strategies सब कुछ stuff करने के बजाय केवल relevant chunks retrieve करती हैं।

How osFoundry approaches Context Window

osFoundry की knowledge bases + RAG pipeline प्रत्येक query के लिए केवल relevant chunks retrieve करती है, context window को focused रखती है। आप यदि आवश्यकता हो तो catalog से बड़े window वाला model भी pick कर सकते हैं।