What is 검색 (Retrieval)?

검색은 RAG에서 사용자의 쿼리를 기반으로 지식 저장소에서 관련 문서나 청크를 가져오는 단계입니다. osFoundry는 벡터 임베딩 검색과 BM25 키워드 검색, 그리고 선택적 재랭킹을 결합합니다.

Detail

검색은 일반적으로 다음과 같이 구현됩니다: 사용자 쿼리를 받아 벡터로 임베딩하고, 벡터 인덱스에서 가장 가까운 이웃을 검색하고, 선택적으로 키워드 매칭을 위해 BM25와 결합하고, top-k를 반환합니다. 품질은 임베딩 모델, 청킹 전략, 재랭커에 따라 달라집니다.

하이브리드 검색(벡터 + 키워드)은 순수 벡터를 능가하는 경향이 있습니다 — 키워드는 임베딩이 때때로 놓치는 약어와 특정 용어를 잡아냅니다.

osFoundry의 기본 파이프라인은 Voyage 임베딩 + tantivy BM25 + Voyage 재랭커를 사용합니다. 모든 단계는 osStudio에서 구성 가능합니다.