osFoundry / Platform
Pipeline de chunking automatique
Chunking intelligent qui respecte sections, blocs de code et listes. Ajustable par dossier.
Présentation
Le pipeline de chunking automatique est le découpeur de documents d'osFoundry pour la recherche et les embeddings. Avant qu'un texte puisse être recherché sémantiquement ou fourni à un modèle comme contexte, il faut le découper en morceaux. Les découpeurs naïfs coupent à un nombre fixe de caractères, ce qui coupe régulièrement une fonction en deux, répartit une liste numérotée sur deux chunks ou sépare un titre du paragraphe qu'il introduit. Le pipeline d'osFoundry est attentif à la structure : il lit d'abord les frontières propres au document et coupe le long de celles-ci, si bien qu'une section reste avec sa section, qu'un bloc de code reste intact et qu'une liste reste une liste.
Au sein d'osFoundry, le chunking s'exécute comme l'étape entre vos connaissances et la couche d'embedding et de recherche. Lorsque vous ajoutez des documents à un dossier, le pipeline analyse leur structure, produit des chunks qui préservent ces frontières naturelles et les transmet à l'étape d'embedding. Le chunking et la recherche se font en local-first, de sorte que vos documents sources peuvent rester sur votre appareil au lieu d'être envoyés à un service d'indexation tiers. L'embedding est la seule étape payée par la plateforme (via le proxy d'osFoundry) ; les modèles que vous apportez pour le chat et les agents utilisent vos propres clés, sans marge de revendeur. Le même corpus alimente ainsi chat, agents, applications et recherche depuis un seul endroit, sans frais par siège dictant qui peut construire dessus.
La taille des chunks n'est pas universelle, aussi le pipeline est-il réglable par dossier. Un dossier de référence d'API et de code source appelle des frontières différentes d'un dossier de prose longue ou de comptes rendus de réunion. Vous définissez le comportement au niveau du dossier, de sorte que chaque corpus de connaissances est découpé comme il se lit réellement, et réindexer un dossier ne redécoupe que ce qui a changé. De meilleurs chunks signifient une recherche plus précise : les passages que vos modèles voient sont cohérents et autonomes, ce qui réduit le bruit à l'origine de réponses faibles ou hallucinées en aval.
Fonctionnalités clés
- Découpe selon la structure réelle du document, en gardant sections, blocs de code et listes intacts plutôt qu'en coupant à un comptage aveugle de caractères
- Réglable par dossier, pour que documentation de référence, code source et prose longue reçoivent chacun des frontières de chunk adaptées
- Alimente la couche d'embedding et de recherche d'osFoundry, en produisant des passages plus propres pour le RAG et la recherche sémantique
- S'exécute en local-first, de sorte que les documents sources peuvent rester sur votre appareil plutôt que d'aller vers un indexeur tiers
- BYOK pour le chat et les agents qui consomment le contexte récupéré, sans frais par siège ni marge de revendeur
Cas d’usage
- Ingénieur construisant un assistant RAG interne : découpe la doc et le code d'un dépôt sans couper les fonctions en plein corps, pour que les réponses citent des exemples entiers
- Analyste indexant de longs rapports : garde ensemble chaque section et ses tableaux, pour que la recherche renvoie des passages cohérents et autonomes
- Chef d'équipe gérant des connaissances mixtes : règle les dossiers de prose et de code pour un découpage différent, ajustant la qualité de recherche par corpus
Questions fréquentes
En quoi est-ce différent d'un chunking à taille fixe ?
Les découpeurs à taille fixe coupent tous les N caractères sans tenir compte du contenu, ce qui brise blocs de code, listes et titres. osFoundry lit d'abord la structure du document et coupe aux frontières de section, de bloc de code et de liste, de sorte que chaque chunk reste cohérent et autonome.
Puis-je contrôler le comportement du chunking selon le type de contenu ?
Oui. Le chunking est réglable par dossier, de sorte qu'un dossier de code source ou de référence d'API peut être découpé différemment d'un dossier de prose longue ou de notes. Chaque corpus de connaissances reçoit des frontières adaptées à la façon dont il se lit réellement.
Où vont mes données pendant le chunking ?
Le chunking et la recherche se font en local-first, de sorte que vos documents sources peuvent rester sur votre appareil. L'embedding est la seule étape payée par la plateforme, via le proxy d'osFoundry ; les modèles que vous utilisez pour le chat et les agents tournent sur vos propres clés, sans marge de revendeur.