osFoundry / Platform
Pipeline de chunking automático
Chunking inteligente que respeita seções, blocos de código e listas. Ajustável por pasta.
O que é
O pipeline de chunking automático é o divisor de documentos do osFoundry para recuperação e embeddings. Antes de um texto poder ser pesquisado semanticamente ou enviado a um modelo como contexto, é preciso quebrá-lo em partes. Divisores ingênuos cortam a cada número fixo de caracteres, o que costuma partir uma função ao meio, dividir uma lista numerada entre dois fragmentos ou separar um título do parágrafo que ele introduz. O pipeline do osFoundry é ciente da estrutura: primeiro lê os limites do próprio documento e corta seguindo-os, de modo que uma seção permanece com sua seção, um bloco de código fica intacto e uma lista continua sendo uma lista.
Dentro do osFoundry, o chunking roda como a etapa entre o seu conhecimento e a camada de embeddings e recuperação. Quando você adiciona documentos a uma pasta, o pipeline analisa a estrutura deles, produz fragmentos que preservam esses limites naturais e os entrega à etapa de embeddings. O chunking e a recuperação acontecem local-first, então seus documentos de origem podem permanecer no seu dispositivo em vez de serem enviados a um serviço de indexação de terceiros. O embedding é a única etapa paga pela plataforma (via proxy do osFoundry); os modelos que você traz para chat e agentes usam suas próprias chaves, sem margem de revenda. Isso significa que o mesmo corpus alimenta chat, agentes, apps e busca a partir de um só lugar, sem tarifa por assento limitando quem pode construir sobre ele.
O tamanho do fragmento não é único para todos os casos, por isso o pipeline é ajustável por pasta. Uma pasta de referência de API e código-fonte pede limites diferentes de uma pasta de prosa longa ou notas de reunião. Você define o comportamento no nível da pasta, então cada corpo de conhecimento é fragmentado do jeito que ele realmente se lê, e reindexar uma pasta refragmenta apenas o que mudou. Fragmentos melhores significam recuperação mais precisa: as passagens que seus modelos veem são coerentes e autossuficientes, o que reduz o ruído que causa respostas fracas ou alucinadas mais adiante.
Principais recursos
- Divide pela estrutura real do documento, mantendo seções, blocos de código e listas intactos em vez de cortar por uma contagem cega de caracteres
- Ajustável por pasta, para que documentação de referência, código-fonte e prosa longa recebam cada um os limites que lhes servem
- Alimenta a camada de embeddings e recuperação do osFoundry, produzindo passagens mais limpas para RAG e busca semântica
- Roda local-first, então os documentos de origem podem ficar no seu dispositivo em vez de ir para um indexador de terceiros
- BYOK em chat e agentes que consomem o contexto recuperado, sem tarifa por assento e sem margem de revenda
Casos de uso
- Engenheiro construindo um assistente RAG interno: fragmenta a documentação e o código de um repositório sem partir funções no meio do corpo, para que as respostas citem exemplos inteiros
- Analista indexando relatórios longos: mantém cada seção e suas tabelas juntas, de modo que a recuperação retorne passagens coerentes e autossuficientes
- Líder de equipe gerenciando conhecimento misto: configura pastas de prosa e pastas de código para fragmentar de forma diferente, ajustando a qualidade da recuperação por corpus
Perguntas frequentes
Qual a diferença em relação ao chunking de tamanho fixo?
Divisores de tamanho fixo cortam a cada N caracteres sem olhar o conteúdo, o que quebra blocos de código, listas e títulos. O osFoundry lê primeiro a estrutura do documento e corta nos limites de seção, bloco de código e lista, de modo que cada fragmento fica coerente e autossuficiente.
Posso controlar o comportamento do chunking para diferentes tipos de conteúdo?
Sim. O chunking é ajustável por pasta, então uma pasta de código-fonte ou referência de API pode ser fragmentada de forma diferente de uma pasta de prosa longa ou notas. Cada corpo de conhecimento recebe limites que combinam com o modo como ele é lido.
Para onde vão meus dados durante o chunking?
O chunking e a recuperação rodam local-first, então seus documentos de origem podem ficar no seu dispositivo. O embedding é a única etapa paga pela plataforma, via proxy do osFoundry; os modelos que você usa para chat e agentes rodam com suas próprias chaves, sem margem de revenda.