Accueil / Glossaire / Fenêtre de contexte
Qu’est-ce que Fenêtre de contexte ?
La fenêtre de contexte est le nombre maximum de tokens qu’un LLM peut traiter dans une requête (entrée + sortie combinées). Les modèles modernes vont de 4 K à 2 M de tokens. Le catalogue d’osFoundry liste la fenêtre de contexte de chaque modèle.
Détails
Les tokens sont des unités sous-lexicales ; ~3-4 caractères de texte anglais par token en moyenne. Une fenêtre de contexte de 128 K contient environ 100 000 mots. La fenêtre inclut le prompt système, l’historique de conversation, le contexte récupéré ET la réponse générée par le modèle — chaque partie est comptée dans la limite.
Des fenêtres plus grandes vous permettent d’insérer plus de contexte mais coûtent plus cher par requête et ont des rendements décroissants — la qualité se dégrade souvent au-delà de 50-100 K. Des stratégies comme le RAG récupèrent uniquement les chunks pertinents au lieu de tout insérer.
L’approche d’osFoundry pour Fenêtre de contexte
Les bases de connaissances + pipeline RAG d’osFoundry récupèrent uniquement les chunks pertinents pour chaque requête, gardant la fenêtre de contexte focalisée. Vous pouvez également choisir un modèle avec une fenêtre plus grande dans le catalogue si nécessaire.
Questions fréquentes
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
Termes associés
Fonctionnalités associées