Accueil / Glossaire / Chunking

What is Chunking?

Le chunking divise les longs documents en pièces plus petites qui tiennent confortablement dans une fenêtre de contexte LLM et sont récupérables indépendamment. osFoundry auto-chunke les notes, KB et fichiers téléversés au fur et à mesure de leur création.

Detail

Un chunking naïf split-tous-les-N-tokens perd le contexte. De meilleures stratégies préservent les frontières sémantiques — split sur les paragraphes, titres ou frontières de phrase ; chevauchement optionnel des chunks ; enrichissement optionnel de chaque chunk avec le contexte environnant (p. ex. titre parent).

La taille des chunks affecte la qualité de la récupération. Les chunks plus petits sont plus précis mais perdent le contexte ; les chunks plus grands ont plus de contexte mais un signal de récupération moindre. Plage courante : 200-1000 tokens avec 10-20 % de chevauchement.

How osFoundry approaches Chunking

Le pipeline de chunking d’osFoundry s’exécute automatiquement à la création du document. La stratégie est configurable dans la station de chunking — choisissez sémantique, structurel ou taille fixe ; ajustez la taille et le chevauchement.