osFoundry / Platform
Pipeline auto-chunking
Chunking pintar yang menghormati bagian, blok kode, dan daftar. Dapat disesuaikan per folder.
Apa itu
Pipeline auto-chunking adalah pemecah dokumen osFoundry untuk retrieval dan embedding. Sebelum teks dapat dicari secara semantik atau diberikan ke model sebagai konteks, teks harus dipecah menjadi bagian-bagian. Pemecah naif memotong pada jumlah karakter tetap, yang kerap memotong sebuah fungsi di tengah, membelah daftar bernomor ke dalam dua chunk, atau memisahkan judul dari paragraf yang diperkenalkannya. Pipeline osFoundry sadar struktur: ia membaca terlebih dahulu batas alami dokumen dan memotong mengikutinya, sehingga sebuah bagian tetap menyatu dengan bagiannya, blok kode tetap utuh, dan daftar tetap menjadi daftar.
Di dalam osFoundry, chunking berjalan sebagai langkah antara pengetahuan Anda dan lapisan embedding serta retrieval. Saat Anda menambahkan dokumen ke sebuah folder, pipeline mengurai strukturnya, menghasilkan chunk yang mempertahankan batas alami tersebut, lalu menyerahkannya ke tahap embedding. Chunking dan retrieval berjalan secara local-first, sehingga dokumen sumber Anda bisa tetap berada di perangkat Anda alih-alih dikirim ke layanan pengindeksan pihak ketiga. Embedding adalah satu-satunya langkah yang dibayar platform (melalui proxy osFoundry); model yang Anda bawa untuk chat dan agen memakai kunci Anda sendiri, tanpa markup reseller. Artinya, korpus yang sama memberi makan chat, agen, aplikasi, dan pencarian dari satu tempat, tanpa biaya per kursi yang membatasi siapa yang boleh membangun di atasnya.
Ukuran chunk tidak seragam untuk semua kasus, sehingga pipeline dapat disetel per folder. Folder berisi referensi API dan kode sumber membutuhkan batas yang berbeda dari folder prosa panjang atau catatan rapat. Anda mengatur perilaku pada tingkat folder, sehingga setiap kumpulan pengetahuan dipecah sesuai cara ia sebenarnya dibaca, dan pengindeksan ulang sebuah folder hanya memecah ulang bagian yang berubah. Chunk yang lebih baik berarti retrieval yang lebih tepat: bagian teks yang dilihat model Anda koheren dan mandiri, sehingga mengurangi noise yang memicu jawaban lemah atau halusinasi di tahap berikutnya.
Kemampuan utama
- Memecah berdasarkan struktur dokumen yang sebenarnya, menjaga bagian, blok kode, dan daftar tetap utuh alih-alih memotong dengan hitungan karakter buta
- Dapat disetel per folder, sehingga dokumen referensi, kode sumber, dan prosa panjang masing-masing mendapat batas chunk yang sesuai
- Memberi makan lapisan embedding dan retrieval osFoundry, menghasilkan bagian teks yang lebih bersih untuk RAG dan pencarian semantik
- Berjalan local-first, sehingga dokumen sumber bisa tetap di perangkat Anda alih-alih menuju pengindeks pihak ketiga
- BYOK di chat dan agen yang memakai konteks hasil retrieval, tanpa biaya per kursi dan tanpa markup reseller
Kasus penggunaan
- Insinyur membangun asisten RAG internal: memecah dokumentasi dan kode sebuah repo tanpa memotong fungsi di tengah, sehingga jawaban mengutip contoh secara utuh
- Analis mengindeks laporan panjang: menjaga tiap bagian dan tabelnya tetap menyatu, sehingga retrieval mengembalikan bagian teks yang koheren dan mandiri
- Team lead mengelola pengetahuan campuran: mengatur folder prosa dan folder kode agar dipecah berbeda, menyetel kualitas retrieval per korpus
Pertanyaan yang sering diajukan
Apa bedanya dengan chunking berukuran tetap?
Pemecah berukuran tetap memotong setiap N karakter tanpa memedulikan isi, sehingga memecah blok kode, daftar, dan judul. osFoundry membaca struktur dokumen terlebih dahulu dan memotong pada batas bagian, blok kode, dan daftar, sehingga setiap chunk tetap koheren dan mandiri.
Bisakah saya mengatur perilaku chunking untuk jenis konten yang berbeda?
Bisa. Chunking dapat disetel per folder, sehingga folder kode sumber atau referensi API dapat dipecah berbeda dari folder prosa panjang atau catatan. Setiap kumpulan pengetahuan mendapat batas yang cocok dengan cara ia sebenarnya dibaca.
Ke mana data saya pergi selama chunking?
Chunking dan retrieval berjalan local-first, sehingga dokumen sumber Anda bisa tetap di perangkat Anda. Embedding adalah satu-satunya langkah yang dibayar platform melalui proxy osFoundry; model yang Anda pakai untuk chat dan agen berjalan dengan kunci Anda sendiri, tanpa markup reseller.