Inicio / Glosario / Chunking
¿Qué es Chunking?
El chunking divide documentos largos en piezas más pequeñas que caben cómodamente en la ventana de contexto de un LLM y son recuperables de forma independiente. osFoundry hace chunking automático de notas, KBs y archivos subidos a medida que se crean.
Detalles
Un chunking ingenuo de cortar cada N tokens pierde contexto. Las mejores estrategias preservan los límites semánticos: dividir por párrafos, encabezados o límites de frase; opcionalmente solapar chunks; opcionalmente enriquecer cada chunk con contexto circundante (p. ej. encabezado padre).
El tamaño del chunk afecta a la calidad de la recuperación. Chunks más pequeños son más precisos pero pierden contexto; chunks más grandes tienen más contexto pero peor señal de recuperación. Rango común: 200-1000 tokens con un 10-20 % de solapamiento.
El enfoque de osFoundry sobre Chunking
El pipeline de chunking de osFoundry se ejecuta automáticamente al crear un documento. La estrategia es configurable en la estación de chunking: elijan semántica, estructural o de tamaño fijo; ajusten tamaño y solapamiento.
Términos relacionados
Funciones relacionadas