Inicio / Glosario / Ventana de contexto
¿Qué es Ventana de Contexto?
La ventana de contexto es el número máximo de tokens que un LLM puede procesar en una solicitud (entrada y salida combinadas). Los modelos modernos van desde 4 K hasta 2 M de tokens. El catálogo de osFoundry indica la ventana de contexto de cada modelo.
Detalles
Los tokens son subunidades de palabra; ~3-4 caracteres de texto en inglés por token de media. Una ventana de contexto de 128 K alberga aproximadamente 100 000 palabras. La ventana incluye el system prompt, el historial de conversación, el contexto recuperado Y la respuesta generada por el modelo: cada parte cuenta contra el límite.
Ventanas más grandes les permiten meter más contexto pero cuestan más por solicitud y tienen rendimientos decrecientes: la calidad suele degradarse por encima de 50-100 K. Estrategias como RAG recuperan solo los chunks relevantes en vez de meterlo todo dentro.
El enfoque de osFoundry sobre Ventana de Contexto
El pipeline de bases de conocimiento + RAG de osFoundry recupera solo los chunks relevantes para cada consulta, manteniendo la ventana de contexto enfocada. También pueden elegir un modelo con una ventana mayor del catálogo si lo necesitan.
Preguntas frecuentes
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
Términos relacionados
Funciones relacionadas