osFoundry / Platform
Pipeline de chunking automático
Chunking inteligente que respeta secciones, bloques de código y listas. Ajustable por carpeta.
Qué es
El pipeline de chunking automático es el fragmentador de documentos de osFoundry para recuperación y embeddings. Antes de que un texto pueda buscarse semánticamente o entregarse a un modelo como contexto, hay que dividirlo en piezas. Los fragmentadores ingenuos cortan cada cierto número fijo de caracteres, lo que suele partir una función por la mitad, dividir una lista numerada entre dos fragmentos o separar un encabezado del párrafo que introduce. El pipeline de osFoundry es consciente de la estructura: primero lee los límites propios del documento y corta siguiéndolos, de modo que una sección permanece con su sección, un bloque de código queda intacto y una lista sigue siendo una lista.
Dentro de osFoundry, el chunking se ejecuta como el paso entre tu conocimiento y la capa de embeddings y recuperación. Cuando añades documentos a una carpeta, el pipeline analiza su estructura, genera fragmentos que preservan esos límites naturales y los entrega a la etapa de embeddings. El chunking y la recuperación funcionan local-first, así que tus documentos de origen pueden permanecer en tu equipo en lugar de enviarse a un servicio de indexación de terceros. El embedding es el único paso que paga la plataforma (a través del proxy de osFoundry); los modelos que traes para chat y agentes usan tus propias claves, sin margen de reventa. Eso significa que el mismo corpus alimenta chat, agentes, apps y búsqueda desde un solo lugar, sin tarifa por asiento que limite quién puede construir sobre él.
El tamaño de fragmento no es igual para todos, por lo que el pipeline es ajustable por carpeta. Una carpeta de referencia de API y código fuente necesita límites distintos que una de prosa extensa o notas de reunión. Configuras el comportamiento a nivel de carpeta, así cada cuerpo de conocimiento se fragmenta como realmente se lee, y reindexar una carpeta vuelve a fragmentar solo lo que cambió. Mejores fragmentos significan una recuperación más precisa: los pasajes que ven tus modelos son coherentes y autónomos, lo que reduce el ruido que provoca respuestas débiles o alucinadas más adelante.
Capacidades principales
- Divide según la estructura real del documento, manteniendo intactas secciones, bloques de código y listas en lugar de cortar por un recuento ciego de caracteres
- Ajustable por carpeta, para que la documentación de referencia, el código fuente y la prosa extensa reciban cada uno los límites que les convienen
- Alimenta la capa de embeddings y recuperación de osFoundry, generando pasajes más limpios para RAG y búsqueda semántica
- Funciona local-first, así que los documentos de origen pueden quedarse en tu equipo en lugar de ir a un indexador de terceros
- BYOK en chat y agentes que consumen el contexto recuperado, sin tarifa por asiento ni margen de reventa
Casos de uso
- Ingeniero que construye un asistente RAG interno: fragmenta la documentación y el código de un repo sin partir funciones a mitad de cuerpo, para que las respuestas citen ejemplos completos
- Analista que indexa informes largos: mantiene juntas cada sección y sus tablas, de modo que la recuperación devuelva pasajes coherentes y autónomos
- Líder de equipo con conocimiento mixto: configura las carpetas de prosa y las de código para fragmentar distinto, afinando la calidad de recuperación por corpus
Preguntas frecuentes
¿En qué se diferencia del chunking de tamaño fijo?
Los fragmentadores de tamaño fijo cortan cada N caracteres sin mirar el contenido, lo que rompe bloques de código, listas y encabezados. osFoundry lee primero la estructura del documento y corta en los límites de sección, bloque de código y lista, de modo que cada fragmento queda coherente y autónomo.
¿Puedo controlar el comportamiento del chunking para distintos tipos de contenido?
Sí. El chunking es ajustable por carpeta, así una carpeta de código fuente o referencia de API puede fragmentarse de forma distinta a una de prosa extensa o notas. Cada cuerpo de conocimiento recibe límites que se ajustan a cómo se lee realmente.
¿A dónde van mis datos durante el chunking?
El chunking y la recuperación funcionan local-first, así que tus documentos de origen pueden quedarse en tu equipo. El embedding es el único paso que paga la plataforma, a través del proxy de osFoundry; los modelos que usas para chat y agentes corren con tus propias claves, sin margen de reventa.