Início / Glossário / Chunking

O que é Chunking?

Chunking divide documentos longos em pedaços menores que cabem confortavelmente em uma janela de contexto de LLM e são recuperáveis independentemente. O osFoundry auto-chunk notas, KBs e arquivos enviados conforme são criados.

Detalhes

Um chunking ingênuo de dividir-a-cada-N-tokens perde contexto. Estratégias melhores preservam fronteiras semânticas — dividir em parágrafos, cabeçalhos ou fronteiras de sentenças; opcionalmente sobrepor chunks; opcionalmente enriquecer cada chunk com contexto circundante (por exemplo, cabeçalho pai).

O tamanho do chunk afeta a qualidade do retrieval. Chunks menores são mais precisos mas perdem contexto; chunks maiores têm mais contexto mas pior sinal de retrieval. Faixa comum: 200-1000 tokens com 10-20% de sobreposição.

Como a osFoundry aborda Chunking

O pipeline de chunking do osFoundry roda automaticamente na criação de documentos. A estratégia é configurável na estação de chunking — escolha semântico, estrutural ou tamanho fixo; ajuste tamanho e sobreposição.