osFoundry / Platform
Автопайплайн чанкинга
Умный чанкинг, уважающий разделы, блоки кода и списки. Настраивается на каждую папку.
Что это
Пайплайн авточанкинга — это разделитель документов osFoundry для поиска и эмбеддингов. Прежде чем текст можно искать по смыслу или подавать модели как контекст, его нужно разбить на части. Наивные разделители режут по фиксированному числу символов, из-за чего регулярно разрывают функцию посередине, делят нумерованный список между двумя чанками или отрывают заголовок от абзаца, который он вводит. Пайплайн osFoundry учитывает структуру: он сначала считывает собственные границы документа и режет по ним, так что раздел остаётся со своим разделом, блок кода остаётся целым, а список остаётся списком.
Внутри osFoundry чанкинг работает как шаг между вашими знаниями и слоем эмбеддингов и поиска. Когда вы добавляете документы в папку, пайплайн разбирает их структуру, создаёт чанки, сохраняющие эти естественные границы, и передаёт их на этап эмбеддинга. Чанкинг и поиск идут по принципу local-first, поэтому исходные документы могут оставаться на вашем устройстве, а не отправляться в стороннюю службу индексации. Эмбеддинг — единственный шаг, оплачиваемый платформой (через прокси osFoundry); модели, которые вы приносите для чата и агентов, работают на ваших собственных ключах, без наценки посредника. Это значит, что один и тот же корпус питает чат, агентов, приложения и поиск из одного места, и никакая плата за место не определяет, кто может на нём строить.
Размер чанка не универсален, поэтому пайплайн настраивается по папкам. Папке со справочником API и исходным кодом нужны иные границы, чем папке с длинной прозой или заметками со встреч. Вы задаёте поведение на уровне папки, так что каждый корпус знаний разбивается так, как он на самом деле читается, а при переиндексации папки заново разбивается только то, что изменилось. Лучшие чанки означают более точный поиск: фрагменты, которые видят ваши модели, связны и самодостаточны, что снижает шум, порождающий слабые или галлюцинированные ответы дальше по цепочке.
Ключевые возможности
- Режет по реальной структуре документа, сохраняя разделы, блоки кода и списки целыми, а не отрезая по слепому счёту символов
- Настраивается по папкам, так что справочная документация, исходный код и длинная проза получают подходящие им границы чанков
- Питает слой эмбеддингов и поиска osFoundry, создавая более чистые фрагменты для RAG и семантического поиска
- Работает по принципу local-first, так что исходные документы могут оставаться на вашем устройстве, а не уходить к стороннему индексатору
- BYOK в чате и агентах, использующих найденный контекст, без платы за место и без наценки посредника
Сценарии использования
- Инженер, создающий внутренний RAG-ассистент: разбивает документацию и код репозитория, не разрывая функции посередине, чтобы ответы цитировали примеры целиком
- Аналитик, индексирующий длинные отчёты: держит каждый раздел и его таблицы вместе, чтобы поиск возвращал связные и самодостаточные фрагменты
- Тимлид, управляющий смешанными знаниями: настраивает папки с прозой и папки с кодом на разное разбиение, подстраивая качество поиска под каждый корпус
Часто задаваемые вопросы
Чем это отличается от чанкинга фиксированного размера?
Разделители фиксированного размера режут каждые N символов без учёта содержимого, разрывая блоки кода, списки и заголовки. osFoundry сначала считывает структуру документа и режет по границам разделов, блоков кода и списков, так что каждый чанк остаётся связным и самодостаточным.
Могу ли я управлять поведением чанкинга для разных типов контента?
Да. Чанкинг настраивается по папкам, поэтому папку с исходным кодом или справочником API можно разбивать иначе, чем папку с длинной прозой или заметками. Каждый корпус знаний получает границы, соответствующие тому, как он реально читается.
Куда уходят мои данные во время чанкинга?
Чанкинг и поиск работают по принципу local-first, поэтому исходные документы могут оставаться на вашем устройстве. Эмбеддинг — единственный шаг, оплачиваемый платформой, через прокси osFoundry; модели, которые вы используете для чата и агентов, работают на ваших собственных ключах, без наценки посредника.