Home / Glossario / Chunking

Che cos’è Chunking?

Il chunking divide documenti lunghi in pezzi più piccoli che stanno comodamente in una context window LLM e sono recuperabili in modo indipendente. osFoundry fa chunking automatico di note, KB e file caricati man mano che vengono creati.

Dettagli

Un chunking naïve di split-ogni-N-token perde contesto. Strategie migliori preservano i confini semantici: dividere su paragrafi, intestazioni o confini di frase; opzionalmente sovrapporre i chunk; opzionalmente arricchire ogni chunk con contesto circostante (per esempio l'intestazione parent).

La dimensione del chunk influisce sulla qualità del retrieval. Chunk più piccoli sono più precisi ma perdono contesto; chunk più grandi hanno più contesto ma segnale di retrieval peggiore. Range comune: 200-1000 token con 10-20% di sovrapposizione.

Come osFoundry affronta Chunking

La pipeline di chunking di osFoundry si esegue automaticamente alla creazione del documento. La strategia è configurabile nella chunking station: scelga semantico, strutturale o a dimensione fissa; tuni dimensione e sovrapposizione.