Home / Glossary / Context window
Context Window क्या है?
Context window एक LLM द्वारा एक request में process किए जाने वाले tokens की अधिकतम संख्या है (input + output combined)। आधुनिक models 4 K से 2 M tokens तक होते हैं। osFoundry का catalog हर model के लिए context window list करता है।
विवरण
Tokens sub-word units हैं; औसतन ~3-4 characters English text प्रति token। एक 128 K context window लगभग 100,000 words रखता है। Window में system prompt, conversation history, retrieved context, AND model का generated reply शामिल है — हर हिस्सा limit के विरुद्ध counted है।
बड़े windows आपको अधिक context stuff करने देते हैं लेकिन प्रति request अधिक cost होती है और diminishing returns होते हैं — quality अक्सर 50-100 K से आगे degrade होती है। RAG जैसी strategies सब कुछ stuff करने के बजाय केवल relevant chunks retrieve करती हैं।
osFoundry Context Window को कैसे संभालता है
osFoundry की knowledge bases + RAG pipeline प्रत्येक query के लिए केवल relevant chunks retrieve करती है, context window को focused रखती है। आप यदि आवश्यकता हो तो catalog से बड़े window वाला model भी pick कर सकते हैं।
सामान्य प्रश्न
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
संबंधित शब्द
संबंधित सुविधाएँ