Home / Glossary / Chunking

What is Chunking?

Chunking long documents को smaller pieces में split करता है जो एक LLM context window में comfortably fit होते हैं और स्वतंत्र रूप से retrievable होते हैं। osFoundry notes, KBs, और uploaded files को बनाते ही auto-chunks करता है।

Detail

एक naive split-every-N-tokens chunking context खो देता है। Better strategies semantic boundaries preserve करती हैं — paragraphs, headings, या sentence boundaries पर split; वैकल्पिक रूप से chunks को overlap करें; प्रत्येक chunk को surrounding context (जैसे parent heading) के साथ enrich करें।

Chunk size retrieval quality को affect करती है। Smaller chunks अधिक precise हैं लेकिन context खोते हैं; larger chunks में अधिक context है लेकिन retrieval signal worse है। Common range: 10-20% overlap के साथ 200-1000 tokens।

How osFoundry approaches Chunking

osFoundry की chunking pipeline document creation पर auto-runs करती है। Strategy chunking station में configurable है — semantic, structural, या fixed-size pick करें; size और overlap tune करें।