osFoundry / Platform
Pipeline di auto-chunking
Chunking intelligente che rispetta sezioni, blocchi di codice ed elenchi. Regolabile per cartella.
Che cos’è
La pipeline di chunking automatico è il suddivisore di documenti di osFoundry per il recupero e gli embedding. Prima che un testo possa essere cercato semanticamente o passato a un modello come contesto, va spezzato in parti. I suddivisori ingenui tagliano a un numero fisso di caratteri, il che spesso spezza una funzione a metà, divide un elenco numerato su due chunk o separa un titolo dal paragrafo che introduce. La pipeline di osFoundry è consapevole della struttura: legge prima i confini propri del documento e taglia lungo di essi, così una sezione resta con la sua sezione, un blocco di codice resta intatto e un elenco resta un elenco.
Dentro osFoundry, il chunking gira come passaggio tra la tua conoscenza e il livello di embedding e recupero. Quando aggiungi documenti a una cartella, la pipeline ne analizza la struttura, produce chunk che preservano questi confini naturali e li consegna alla fase di embedding. Chunking e recupero avvengono in modalità local-first, così i tuoi documenti sorgente possono restare sul tuo dispositivo anziché essere inviati a un servizio di indicizzazione di terze parti. L'embedding è l'unico passaggio pagato dalla piattaforma (tramite il proxy di osFoundry); i modelli che porti per chat e agenti usano le tue chiavi, senza ricarico da rivenditore. Ciò significa che lo stesso corpus alimenta chat, agenti, app e ricerca da un unico posto, senza una tariffa per postazione che decida chi può costruirci sopra.
La dimensione dei chunk non è uguale per tutti, perciò la pipeline è regolabile per cartella. Una cartella di riferimenti API e codice sorgente vuole confini diversi da una cartella di prosa estesa o di verbali di riunione. Imposti il comportamento a livello di cartella, così ogni corpo di conoscenza viene suddiviso nel modo in cui effettivamente si legge, e reindicizzare una cartella risuddivide solo ciò che è cambiato. Chunk migliori significano recupero più preciso: i passaggi che i tuoi modelli vedono sono coerenti e autonomi, il che riduce il rumore che a valle causa risposte deboli o allucinate.
Funzionalità principali
- Suddivide in base alla struttura reale del documento, mantenendo intatti sezioni, blocchi di codice ed elenchi anziché tagliare su un cieco conteggio di caratteri
- Regolabile per cartella, così documentazione di riferimento, codice sorgente e prosa estesa ricevono ciascuno i confini di chunk adatti
- Alimenta il livello di embedding e recupero di osFoundry, producendo passaggi più puliti per RAG e ricerca semantica
- Gira in modalità local-first, così i documenti sorgente possono restare sul tuo dispositivo anziché andare a un indicizzatore di terze parti
- BYOK su chat e agenti che consumano il contesto recuperato, senza tariffa per postazione e senza ricarico da rivenditore
Casi d’uso
- Ingegnere che costruisce un assistente RAG interno: suddivide documentazione e codice di un repo senza spezzare le funzioni a metà corpo, così le risposte citano esempi interi
- Analista che indicizza report lunghi: tiene insieme ogni sezione e le sue tabelle, così il recupero restituisce passaggi coerenti e autonomi
- Team lead che gestisce conoscenza mista: imposta cartelle di prosa e cartelle di codice per suddividere in modo diverso, regolando la qualità del recupero per corpus
Domande frequenti
In cosa differisce dal chunking a dimensione fissa?
I suddivisori a dimensione fissa tagliano ogni N caratteri senza guardare il contenuto, spezzando blocchi di codice, elenchi e titoli. osFoundry legge prima la struttura del documento e taglia sui confini di sezione, blocco di codice ed elenco, così ogni chunk resta coerente e autonomo.
Posso controllare il comportamento del chunking per diversi tipi di contenuto?
Sì. Il chunking è regolabile per cartella, così una cartella di codice sorgente o riferimenti API può essere suddivisa in modo diverso da una di prosa estesa o note. Ogni corpo di conoscenza riceve confini adatti a come si legge davvero.
Dove vanno i miei dati durante il chunking?
Chunking e recupero girano in modalità local-first, così i tuoi documenti sorgente possono restare sul tuo dispositivo. L'embedding è l'unico passaggio pagato dalla piattaforma, tramite il proxy di osFoundry; i modelli che usi per chat e agenti girano sulle tue chiavi, senza ricarico da rivenditore.