Início / Glossário / Janela de contexto
O que é Janela de Contexto?
A janela de contexto é o número máximo de tokens que um LLM pode processar em uma requisição (entrada + saída combinadas). Modelos modernos variam de 4 K a 2 M tokens. O catálogo do osFoundry lista a janela de contexto para cada modelo.
Detalhes
Tokens são unidades sub-palavra; em média ~3-4 caracteres de texto em inglês por token. Uma janela de contexto de 128 K comporta aproximadamente 100.000 palavras. A janela inclui o prompt de sistema, o histórico da conversa, o contexto recuperado E a resposta gerada pelo modelo — cada parte conta contra o limite.
Janelas maiores permitem empilhar mais contexto, mas custam mais por requisição e têm retornos decrescentes — a qualidade frequentemente degrada além de 50-100 K. Estratégias como RAG recuperam apenas os chunks relevantes em vez de empilhar tudo.
Como a osFoundry aborda Janela de Contexto
As bases de conhecimento + o pipeline RAG do osFoundry recuperam apenas os chunks relevantes para cada consulta, mantendo a janela de contexto focada. Você também pode escolher um modelo com janela maior no catálogo se precisar.
Perguntas frequentes
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
Termos relacionados
Recursos relacionados