Home / Glossario / Context window

What is Context Window (finestra di contesto)?

La context window è il numero massimo di token che un LLM può processare in una singola richiesta (input + output combinati). I modelli moderni vanno da 4 K a 2 M token. Il catalogo di osFoundry elenca la context window per ogni modello.

Detail

I token sono unità sub-parola; ~3-4 caratteri di testo inglese per token in media. Una context window da 128 K contiene circa 100.000 parole. La finestra include il system prompt, la cronologia conversazionale, il contesto recuperato E la risposta generata dal modello: ogni parte viene conteggiata contro il limite.

Finestre più grandi Le consentono di inserire più contesto ma costano di più per richiesta e hanno rendimenti decrescenti: la qualità spesso degrada oltre i 50-100 K. Strategie come il RAG recuperano solo i chunk rilevanti invece di infilare tutto.

How osFoundry approaches Context Window (finestra di contesto)

Le knowledge base + la pipeline RAG di osFoundry recuperano solo i chunk rilevanti per ciascuna query, mantenendo la context window focalizzata. Può anche scegliere un modello con una finestra più grande dal catalogo se Le serve.