What is リトリーバル (検索)?

リトリーバル(検索)は、RAGにおいてユーザーのクエリに基づきナレッジストアから関連ドキュメントやチャンクを取得するステップです。osFoundryはベクトル埋め込み検索とBM25キーワード検索、任意のリランキングを組み合わせます。

Detail

リトリーバルは通常、ユーザークエリを取り、ベクトル化し、ベクトルインデックスで最近傍を検索し、必要に応じてBM25のキーワードマッチと組み合わせ、top-kを返す形で実装されます。品質は埋め込みモデル、チャンク分割戦略、リランカーに依存します。

ハイブリッドリトリーバル(ベクトル+キーワード)は純粋なベクトル検索を上回る傾向があります。キーワードは埋め込みが取りこぼしがちな略語や固有用語を補足します。

osFoundryのデフォルトパイプラインはVoyageの埋め込み+tantivyのBM25+Voyageのリランカーを使用します。すべてのステージはosStudioで設定可能です。