osFoundry / Platform
Auto-Chunking-Pipeline
Intelligentes Chunking, das Abschnitte, Codeblöcke und Listen respektiert. Pro Ordner tunbar.
Was es ist
Die Auto-Chunking-Pipeline ist der Dokument-Splitter von osFoundry für Retrieval und Embeddings. Bevor ein Text semantisch durchsuchbar ist oder einem Modell als Kontext übergeben werden kann, muss er in Stücke zerlegt werden. Naive Splitter schneiden nach einer festen Zeichenzahl, was regelmäßig eine Funktion in der Mitte durchtrennt, eine nummerierte Liste über zwei Chunks aufteilt oder eine Überschrift von dem Absatz löst, den sie einleitet. Die Pipeline von osFoundry ist strukturbewusst: Sie liest zuerst die eigenen Grenzen des Dokuments und schneidet entlang dieser Grenzen, sodass ein Abschnitt bei seinem Abschnitt bleibt, ein Codeblock unversehrt bleibt und eine Liste eine Liste bleibt.
Innerhalb von osFoundry läuft das Chunking als Schritt zwischen Ihrem Wissen und der Embedding- und Retrieval-Schicht. Wenn Sie Dokumente zu einem Ordner hinzufügen, parst die Pipeline deren Struktur, erzeugt Chunks, die diese natürlichen Grenzen bewahren, und übergibt sie an die Embedding-Stufe. Chunking und Retrieval laufen local-first, sodass Ihre Quelldokumente auf Ihrem Gerät bleiben können, statt an einen Indexierungsdienst Dritter geschickt zu werden. Das Embedding ist der einzige plattformbezahlte Schritt (über den Proxy von osFoundry); die Modelle, die Sie für Chat und Agenten mitbringen, laufen über Ihre eigenen Schlüssel, ohne Reseller-Aufschlag. Das heißt: Derselbe Korpus speist Chat, Agenten, Apps und Suche von einem Ort aus, ohne eine Gebühr pro Sitzplatz, die vorgibt, wer darauf aufbauen darf.
Die Chunk-Größe passt nicht für alle gleich, deshalb ist die Pipeline pro Ordner einstellbar. Ein Ordner mit API-Referenz und Quellcode braucht andere Grenzen als ein Ordner mit Fließtext oder Besprechungsnotizen. Sie legen das Verhalten auf Ordnerebene fest, sodass jeder Wissensbestand so gechunkt wird, wie er tatsächlich gelesen wird, und beim erneuten Indexieren eines Ordners wird nur das neu gechunkt, was sich geändert hat. Bessere Chunks bedeuten präziseres Retrieval: Die Passagen, die Ihre Modelle sehen, sind kohärent und in sich geschlossen, was das Rauschen verringert, das nachgelagert schwache oder halluzinierte Antworten verursacht.
Wichtige Funktionen
- Trennt an der echten Dokumentstruktur und hält Abschnitte, Codeblöcke und Listen intakt, statt blind nach Zeichenzahl zu schneiden
- Pro Ordner einstellbar, sodass Referenzdokumente, Quellcode und Fließtext jeweils passende Chunk-Grenzen erhalten
- Speist die Embedding- und Retrieval-Schicht von osFoundry und erzeugt sauberere Passagen für RAG und semantische Suche
- Läuft local-first, sodass Quelldokumente auf Ihrem Gerät bleiben können, statt an einen Indexer Dritter zu gehen
- BYOK für Chat und Agenten, die den abgerufenen Kontext nutzen, ohne Gebühr pro Sitzplatz und ohne Reseller-Aufschlag
Anwendungsfälle
- Entwickler, der einen internen RAG-Assistenten baut: chunkt Doku und Code eines Repos, ohne Funktionen mittendrin zu zerteilen, sodass Antworten ganze Beispiele zitieren
- Analyst, der lange Berichte indexiert: hält jeden Abschnitt samt Tabellen zusammen, sodass das Retrieval kohärente, in sich geschlossene Passagen liefert
- Teamleiter mit gemischtem Wissen: stellt Fließtext- und Code-Ordner auf unterschiedliches Chunking ein und justiert die Retrieval-Qualität pro Korpus
Häufig gestellte Fragen
Worin unterscheidet sich das vom Chunking mit fester Größe?
Splitter mit fester Größe schneiden alle N Zeichen ohne Rücksicht auf den Inhalt und reißen so Codeblöcke, Listen und Überschriften auseinander. osFoundry liest zuerst die Dokumentstruktur und schneidet an Abschnitts-, Codeblock- und Listengrenzen, sodass jeder Chunk kohärent und in sich geschlossen bleibt.
Kann ich das Chunking-Verhalten für verschiedene Inhaltstypen steuern?
Ja. Das Chunking ist pro Ordner einstellbar, sodass ein Ordner mit Quellcode oder API-Referenz anders gechunkt werden kann als ein Ordner mit Fließtext oder Notizen. Jeder Wissensbestand erhält Grenzen, die dazu passen, wie er tatsächlich gelesen wird.
Wohin gehen meine Daten während des Chunkings?
Chunking und Retrieval laufen local-first, sodass Ihre Quelldokumente auf Ihrem Gerät bleiben können. Das Embedding ist der einzige plattformbezahlte Schritt über den Proxy von osFoundry; die Modelle, die Sie für Chat und Agenten nutzen, laufen über Ihre eigenen Schlüssel, ohne Reseller-Aufschlag.