What is 청킹 (Chunking)?

청킹은 긴 문서를 LLM 컨텍스트 윈도우에 편안하게 들어맞고 독립적으로 검색 가능한 더 작은 조각으로 분할합니다. osFoundry는 노트, KB, 업로드된 파일이 생성될 때 자동으로 청킹합니다.

Detail

단순한 N토큰마다 분할하는 청킹은 컨텍스트를 잃습니다. 더 나은 전략은 의미적 경계를 보존합니다 — 단락, 제목, 또는 문장 경계에서 분할하고, 선택적으로 청크를 중첩시키며, 선택적으로 각 청크를 주변 컨텍스트(예: 상위 제목)로 보강합니다.

청크 크기는 검색 품질에 영향을 미칩니다. 더 작은 청크는 더 정확하지만 컨텍스트를 잃고, 더 큰 청크는 컨텍스트가 더 많지만 검색 신호가 더 나쁩니다. 일반적인 범위: 200-1000 토큰에 10-20% 중첩입니다.

osFoundry의 청킹 파이프라인은 문서 생성 시 자동으로 실행됩니다. 전략은 청킹 스테이션에서 구성 가능합니다 — 의미적, 구조적, 또는 고정 크기를 선택하고 크기와 중첩을 조정하십시오.