Startseite / Glossar / Chunking

Was ist Chunking?

Chunking teilt lange Dokumente in kleinere Teile, die bequem in ein LLM-Kontextfenster passen und unabhängig abrufbar sind. osFoundry chunkt Notizen, KBs und hochgeladene Dateien automatisch bei Erstellung.

Details

Ein naives „alle N Tokens splitten“ verliert Kontext. Bessere Strategien bewahren semantische Grenzen — splitten an Absätzen, Überschriften oder Satzgrenzen; überlappen Chunks optional; bereichern jeden Chunk optional mit umgebendem Kontext (z. B. übergeordneter Überschrift).

Die Chunk-Größe beeinflusst die Retrieval-Qualität. Kleinere Chunks sind präziser, verlieren aber Kontext; größere Chunks haben mehr Kontext, aber schlechteres Retrieval-Signal. Üblicher Bereich: 200–1000 Tokens mit 10–20 % Überlappung.

Wie osFoundry Chunking handhabt

Die Chunking-Pipeline von osFoundry läuft automatisch bei Dokumenterstellung. Die Strategie ist in der Chunking-Station konfigurierbar — wählen Sie semantisch, strukturell oder feste Größe; stellen Sie Größe und Überlappung ein.