Beranda / Glosarium / Chunking

What is Chunking?

Chunking memecah dokumen panjang menjadi potongan lebih kecil yang muat dengan nyaman di context window LLM dan dapat diambil secara independen. osFoundry otomatis chunk catatan, KB, dan file yang di-upload saat dibuat.

Detail

Chunking split-every-N-token yang naif kehilangan konteks. Strategi yang lebih baik mempertahankan batas semantik — pecah pada paragraf, heading, atau batas kalimat; opsional tumpang tindih chunk; opsional perkaya setiap chunk dengan konteks sekitarnya (misalnya parent heading).

Ukuran chunk mempengaruhi kualitas retrieval. Chunk lebih kecil lebih presisi tetapi kehilangan konteks; chunk lebih besar memiliki lebih banyak konteks tetapi sinyal retrieval lebih buruk. Rentang umum: 200-1000 token dengan tumpang tindih 10-20%.

How osFoundry approaches Chunking

Pipeline chunking osFoundry otomatis berjalan pada pembuatan dokumen. Strategi dapat dikonfigurasi di chunking station — pilih semantik, struktural, atau ukuran tetap; setel ukuran dan tumpang tindih.