홈 / 용어집 / 컨텍스트 윈도우
컨텍스트 윈도우 (Context Window)란?
컨텍스트 윈도우는 LLM이 한 요청에서 처리할 수 있는 최대 토큰 수(입력과 출력의 합계)입니다. 현대 모델은 4K에서 2M 토큰까지 다양합니다. osFoundry의 카탈로그는 모든 모델의 컨텍스트 윈도우를 명시합니다.
자세히
토큰은 하위 단어 단위로, 영어 텍스트의 경우 토큰당 평균 약 3~4자입니다. 128K 컨텍스트 윈도우는 약 100,000단어를 담을 수 있습니다. 이 윈도우에는 시스템 프롬프트, 대화 기록, 검색된 컨텍스트, 그리고 모델이 생성한 응답까지 모두 포함됩니다 — 모든 부분이 제한에 포함됩니다.
더 큰 윈도우는 더 많은 컨텍스트를 담을 수 있지만 요청당 비용이 더 들고 수익이 점차 감소합니다 — 50~100K를 넘어서면 품질이 저하되는 경우가 많습니다. RAG와 같은 전략은 모든 것을 욱여넣는 대신 관련 청크만 검색합니다.
osFoundry의 접근 방식
osFoundry의 지식 베이스와 RAG 파이프라인은 각 쿼리에 관련된 청크만 검색하여 컨텍스트 윈도우를 집중시킵니다. 필요한 경우 카탈로그에서 더 큰 윈도우를 가진 모델을 선택할 수도 있습니다.
자주 묻는 질문
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
관련 용어
관련 기능