Faithfulnessとは?

AI

AIの“誠実さ・忠実さ”とは何か

Faithfulness(フェイスフルネス:忠実性)を「与えられた資料だけを使ってレポートを書く人の真面目さ」にたとえてみます。

真面目な人は、資料に書いてあることだけを正確にまとめます。一方で、適当な人は自分のうろ覚えの記憶や勝手な推測を交えて、資料にない情報まで捏造して足してしまいます。AI(特にRAGシステム)においてFaithfulnessが高いとは、後者の“勝手な足し算(でっち上げ)”をせず、検索・提示された根拠データだけに忠実に答えることを意味します。

つまり、FaithfulnessはAIのハルシネーション(嘘や幻覚)の少なさを測る重要な評価指標です。

なぜ「賢さ」とは別に評価するのか

どれだけ文章がスマートで説得力があっても、提示された根拠にないことを勝手に喋ってしまうAIはビジネスで使えません。

  • Faithfulnessが低い例:社内マニュアルに「特別手当は月1万円」としか書かれていないのに、AIが気を利かせて「役職によっては2万円支給される場合もあります」と根拠のない嘘を補完してしまう。
  • Faithfulnessが高い例:マニュアルに書かれている内容だけを厳密に説明し、載っていないことに対しては「資料には記載がありません」と正しく回答を拒否できる。

このように、Faithfulnessは「知識の多さ」ではなく、「渡された前提・ルールを破っていないか」というAIの誠実さを評価しています。

RAG評価における他の重要指標との違い

AI(RAG)の回答精度を測る際、Faithfulnessは以下の指標とセットで比較・評価されます。

指標意味評価するポイント
Faithfulness(忠実性)根拠に対する忠実さ検索された資料の範囲内だけで答えているか(嘘がないか
Answer Relevance(関連性)質問に対する的確さ質問に対してずれた回答をしていないか(噛み合っているか
Context Recall(網羅性)検索データの網羅性回答に必要な根拠データをモレなく検索できたか(材料があるか

たとえば「資料に書かれていることだけを答えた(Faithfulnessは満点)」としても、それがユーザーの質問とまったく無関係な内容であれば「Answer Relevanceが低い」ということになります。質の高いAIには、この両方が求められます。

試験や実務で抑えるべきポイント

G検定や生成AIパスポート、RAGシステムの評価実務では、Faithfulnessは「ハルシネーション対策の核心指標」として扱われます。

  • 初心者向けアクション:AIに社内文書やWebページを読み込ませて回答させたら、「その回答のどの部分が元の文書のどこに基づいているか」を突合してみましょう。
  • 受験者向け要点:「Faithfulness = 検索されたコンテキスト(根拠)に対する忠実度(ハルシネーションの排除)」と暗記しておきましょう。

おまけ:画像生成AIに説明させてみた

※ここからは検証コンテンツです。
画像内の説明には誤りが含まれる可能性があるため、本文の解説とは分けています。

Faithfulnessの「根拠に忠実で推測を交えない」姿勢が、 資料に集中するロボットと消える幻の対比でわかりやすく描かれています。 ただし、推測の具体形が少し抽象的で、比喩の明快さを強める余地があります。

評価項目点数コメント
概念の正確さ4資料に集中する構図が忠実性を示しています
比喩の明快さ4幻が消える動きが推測の排除を伝えています
立体感・奥行き4影と光の配置で主役が浮き出されています
映え度(SNS寄与)4シアンとオレンジの対比が目を引きます
色調の用語相性3信頼感は出ますが、厳しさがやや弱いです
合計19 / 25総合判定: 良好

評価基準: 1(不合格)〜5(優秀)AI Judge による自動評価

📚 先に読むと理解が深まる用語

ハルシネーションとは?

コメント

タイトルとURLをコピーしました