Главная / Глоссарий / Чанкинг

Что такое Чанкинг (Chunking)?

Чанкинг разбивает длинные документы на меньшие части, которые удобно помещаются в окно контекста LLM и независимо извлекаются. osFoundry автоматически чанкует заметки, базы знаний и загруженные файлы по мере их создания.

Подробнее

Наивное разбиение каждые N токенов теряет контекст. Лучшие стратегии сохраняют смысловые границы — разбивают по абзацам, заголовкам или границам предложений; опционально перекрывают чанки; опционально обогащают каждый чанк окружающим контекстом (например, родительский заголовок).

Размер чанка влияет на качество поиска. Меньшие чанки точнее, но теряют контекст; большие чанки имеют больше контекста, но худший сигнал поиска. Распространённый диапазон: 200–1000 токенов с перекрытием 10–20%.

Как osFoundry работает с Чанкинг (Chunking)

Конвейер чанкинга osFoundry запускается автоматически при создании документа. Стратегия настраивается в станции чанкинга — выберите семантическое, структурное или фиксированного размера; настройте размер и перекрытие.