osFoundry / Platform
自動チャンク化パイプライン
セクション、コードブロック、リストを尊重するスマートなチャンク化。フォルダ単位で調整可能。
概要
自動チャンク化パイプラインは、検索と埋め込みのための osFoundry のドキュメント分割機能です。テキストを意味的に検索したり、モデルへコンテキストとして渡したりする前に、まず文書を細かく区切る必要があります。単純な分割方式は固定文字数で切るため、関数を途中で分断したり、番号付きリストを二つのチャンクにまたがせたり、見出しをそれが導く段落から切り離したりしがちです。osFoundry のパイプラインは構造に対応しており、まず文書自身の区切りを読み取ってその境界に沿って切ります。そのため見出しは同じ節にとどまり、コードブロックはそのまま保たれ、リストはリストとして扱われます。
osFoundry の内部では、チャンク化はナレッジと埋め込み・検索レイヤーのあいだの工程として動きます。フォルダーに文書を追加すると、パイプラインがその構造を解析し、自然な境界を保ったチャンクを生成して、埋め込み工程へ引き渡します。チャンク化と検索はローカルファーストで動くため、元の文書は第三者のインデックスサービスへ送られることなく、手元のデバイスに置いたままにできます。プラットフォームが費用を負担する工程は埋め込みだけであり（osFoundry のプロキシ経由）、チャットやエージェントで使うモデルはご自身の API キーで動き、再販業者のマークアップは一切かかりません。つまり同じコーパスが一つの場所からチャット、エージェント、アプリ、検索へ供給され、誰がその上に構築できるかを座席課金で縛ることもありません。
チャンクの大きさに万能の正解はないため、パイプラインはフォルダーごとに調整できます。API リファレンスやソースコードのフォルダーと、長文の散文や議事録のフォルダーとでは、適した境界が異なります。挙動はフォルダー単位で設定するので、それぞれのナレッジがその実際の読まれ方に合わせてチャンク化され、フォルダーの再インデックスでは変更された部分だけが再チャンク化されます。良いチャンクは検索精度の高さにつながります。モデルが見る一節はまとまりがあり自己完結しているため、後段で弱い回答や幻覚を生むノイズが減ります。
主な機能
- 文書の実際の構造で分割し、見出し、コードブロック、リストをそのまま保つので、文字数だけで機械的に切ることがありません
- フォルダーごとに調整でき、リファレンス文書、ソースコード、長文の散文がそれぞれに適したチャンク境界を得られます
- osFoundry の埋め込み・検索レイヤーに供給し、RAG や意味検索に適したまとまりのある一節を生成します
- ローカルファーストで動くため、元の文書を第三者のインデックス作成先へ送らず手元に置いたままにできます
- 検索コンテキストを使うチャットやエージェントを BYOK でまかない、座席課金も再販マークアップもありません
活用例
- 社内 RAG アシスタントを構築するエンジニア：リポジトリの文書とコードを関数の途中で切らずにチャンク化し、回答が例をまるごと引用できるようにする
- 長文レポートをインデックス化するアナリスト：各節とその表をひとまとまりに保ち、検索がまとまりのある自己完結した一節を返すようにする
- 混在するナレッジを扱うチームリード：散文フォルダーとコードフォルダーを別々のチャンク化に設定し、コーパスごとに検索品質を調整する
よくある質問
固定サイズのチャンク化と何が違いますか。
固定サイズの分割は内容に関係なくN文字ごとに切るため、コードブロックやリスト、見出しを分断します。osFoundry はまず文書の構造を読み取り、節、コードブロック、リストの境界で切るので、各チャンクがまとまりを保ち自己完結します。
コンテンツの種類ごとにチャンクの挙動を制御できますか。
はい。チャンク化はフォルダーごとに調整できるため、ソースコードやAPIリファレンスのフォルダーを、長文の散文やメモのフォルダーとは別のやり方でチャンク化できます。それぞれのナレッジが実際の読まれ方に合った境界を得られます。
チャンク化のあいだ、データはどこへ行きますか。
チャンク化と検索はローカルファーストで動くため、元の文書は手元のデバイスに置いたままにできます。プラットフォームが費用を負担する工程は osFoundry のプロキシ経由の埋め込みだけであり、チャットやエージェントで使うモデルはご自身のキーで動き、再販業者のマークアップはかかりません。