Главная / Глоссарий / Чанкинг

What is Чанкинг (Chunking)?

Чанкинг разбивает длинные документы на меньшие части, которые удобно помещаются в окно контекста LLM и независимо извлекаются. osFoundry автоматически чанкует заметки, базы знаний и загруженные файлы по мере их создания.

Detail

Наивное разбиение каждые N токенов теряет контекст. Лучшие стратегии сохраняют смысловые границы — разбивают по абзацам, заголовкам или границам предложений; опционально перекрывают чанки; опционально обогащают каждый чанк окружающим контекстом (например, родительский заголовок).

Размер чанка влияет на качество поиска. Меньшие чанки точнее, но теряют контекст; большие чанки имеют больше контекста, но худший сигнал поиска. Распространённый диапазон: 200–1000 токенов с перекрытием 10–20%.

How osFoundry approaches Чанкинг (Chunking)

Конвейер чанкинга osFoundry запускается автоматически при создании документа. Стратегия настраивается в станции чанкинга — выберите семантическое, структурное или фиксированного размера; настройте размер и перекрытие.