Home / Glossario / Context window
Che cos’è Context Window (finestra di contesto)?
La context window è il numero massimo di token che un LLM può processare in una singola richiesta (input + output combinati). I modelli moderni vanno da 4 K a 2 M token. Il catalogo di osFoundry elenca la context window per ogni modello.
Dettagli
I token sono unità sub-parola; ~3-4 caratteri di testo inglese per token in media. Una context window da 128 K contiene circa 100.000 parole. La finestra include il system prompt, la cronologia conversazionale, il contesto recuperato E la risposta generata dal modello: ogni parte viene conteggiata contro il limite.
Finestre più grandi Le consentono di inserire più contesto ma costano di più per richiesta e hanno rendimenti decrescenti: la qualità spesso degrada oltre i 50-100 K. Strategie come il RAG recuperano solo i chunk rilevanti invece di infilare tutto.
Come osFoundry affronta Context Window (finestra di contesto)
Le knowledge base + la pipeline RAG di osFoundry recuperano solo i chunk rilevanti per ciascuna query, mantenendo la context window focalizzata. Può anche scegliere un modello con una finestra più grande dal catalogo se Le serve.
Domande frequenti
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
Termini correlati
Funzionalità correlate