What is HyDE (Hypothetical Document Embeddings)?

Abbreviation: HyDE

HyDEは、モデルがまずクエリへの仮の回答を生成し、その回答を埋め込んで(生のクエリの代わりに)リトリーバルに使うリトリーバル手法です。クエリとソースドキュメントの語法が大きく異なる場合のリトリーバル品質を改善します。

Detail

発想はこうです。ユーザーのクエリは短く抽象的(「返金ポリシーは?」)である一方、ソースドキュメントは長く具体的(「30日以内に返金をリクエストできます…」)です。クエリを直接埋め込むだけでは、ドキュメントを取り逃がすことが多くなります。HyDEはLLMに回答らしきものを生成させ、それを埋め込みます。これによりドキュメントとのマッチング精度が上がります。

クエリごとに小さな追加のLLM呼び出しが発生しますが、簡潔なクエリではリトリーバルの再現率を有意に押し上げることが多いです。