類似度検索とは？

「意味が近いもの」を見つける、AI時代の図書館

巨大な図書館で、「柑橘系で、甘みのあるフルーティーな味」の本を探していると想像してください。

従来のキーワード検索では、「柑橘」などの文字を手がかりに検索するため、検索語と異なる表現の情報は見つけにくい場合があります。

しかし、もし本ごとの「味・香り・色」などの特徴が数値のベクトルとして表現されていたらどうでしょう？

「柑橘」という文字が使われていなくても、ベクトル空間上で近い「オレンジ」や「みかん」に関する情報を見つけやすくなります。

これが、Embeddingなどを利用した類似度検索（Similarity Search）の基本的なイメージです。

つまり、単語の完全一致だけではなく、データ同士の「近さ」を数値化して、似た情報を探し出す検索方法です。

従来の検索と、Embeddingを利用したベクトル検索では、「何を手がかりに探すか」が異なります。

キーワード検索： 入力した検索語などの文字情報を手がかりに、関連するデータを検索します。「スマホ」と検索した場合、文字が異なる「iPhone」や「Android」は、検索方法によっては見つけにくいことがあります。
類似度検索（ベクトル検索）： 文章やデータをEmbeddingモデルによって「ベクトル（数値の組）」に変換し、検索対象とのベクトルの近さを比較します。「スマホ」と検索したとき、文字が違っても意味的に近い「モバイル端末」などを見つけやすくなります。
判断軸の違い： キーワード検索では文字や検索語などを手がかりにし、ベクトル検索ではコサイン類似度・ユークリッド距離・内積などの指標を使ってベクトル同士の近さを評価します。

イメージとして、キーワード検索が「同じ名札をつけている人を探す」とすれば、類似度検索は「特徴や立ち位置が近い人を探す」技術です。

類似度検索を使ううえで、押さえておきたい重要なポイントがあります。

「似ている」の定義はモデルに依存： Embeddingモデルによって、ベクトル空間でどのような情報が近く表現されるかは異なります。つまり、「何をもって似ているとするか」はモデルや学習方法によって変わります。
近さを測る指標がある： ベクトル同士の近さを測る方法には、ベクトルの向きに注目する「コサイン類似度」や、空間上の距離を見る「ユークリッド距離」、ベクトルの「内積」などがあります。用途やEmbeddingモデルに応じて使い分けられます。
閾値（Threshold）も重要： 数値上の類似度が高いからといって、人間にとって必ずしも「正解」とは限りません。どの程度の類似度を検索結果として採用するか、実データで調整することが重要です。

類似度検索は、Embedding・ベクトル・自然言語処理・RAGなど、生成AIや機械学習を理解するうえで重要な概念です。

G検定： 現行のG検定は公式シラバスに基づいて出題されます。類似度検索を学ぶ際には、Embedding、ベクトル表現、コサイン類似度、k-NNなどの関連概念をセットで理解しておくと、AI・自然言語処理の理解につながります。
実務： 類似度検索は、LLMに外部情報を検索させて回答に利用するRAG（Retrieval-Augmented Generation：検索拡張生成）の検索部分で利用できます。文書をEmbeddingしてベクトルDBなどに保存し、ユーザーの質問もベクトル化して、関連する情報を検索します。

RAGでは、検索した情報をLLMへ渡すことで、外部の文書や社内データなどを回答の材料として利用できます。

試験・学習の要点は、「Embedding＝ベクトル表現」「類似度検索＝ベクトルの近さを利用」「RAG＝検索した情報をLLMに渡す」の3つをつなげて理解することです。

📚 私が受験で使った問題集はこちら。

リンク