相互情報量とはどんな量か？

E資格や機械学習の学習を進めていると、「自己情報量」「エントロピー」に続いて現れる難所が「相互情報量（Mutual Information）」です。数式を見ても「情報量が相互ってどういうこと？」「共分散や相関関係と何が違うの？」と戸惑う人が非常に多い分野です。

この記事では、相互情報量がどのような量なのか、なぜ機械学習やデータ分析で重要視されているのかを、初心者にも分かりやすい直感的なイメージと具体的な活用例で解説します。

結論：相互情報量とはどんな量か？

相互情報量とは一言で言えば、「一方のデータ（変数）を知ることで、もう一方のデータについてどれくらい詳しくなれるか（曖昧さが減るか）」を表す量です。

主な特徴や使い道は、大きく分けると以下の3つです。

1. 2つのデータの「関連性（依存度）」を測る尺度：
全く無関係（独立）なら「0」、片方を知ればもう片方が完璧に分かるなら最高値になる。
2. 非線形な（複雑な）関係も捉えられる：
一般的な「相関係数」では見抜けない、ぐにゃりと曲がった複雑なデータの関係性も正しく数値化できる。
3. 機械学習での特徴量選択や画像・自然言語処理への応用：
「予測に本当に必要なデータはどれか？」を絞り込んだり、2つの画像・文章の位置合わせや関連性計算に使われたりする。

特にE資格や実務で大切なのは、「相関係数の強化版（非線形な関係もキャッチできる指標）」という理解です。

具体例で考えてみましょう。あなたがある人物の「趣味」を当てようとしています。

ヒントA：「その人の血液型はA型です」
血液型を知っても、趣味の推測にはほぼ役立ちません（曖昧さは減らない）。このとき、血液型と趣味の間の相互情報量はほぼ「0」です。
ヒントB：「その人は休日に必ず登山用のリュックとブーツを準備します」
このヒントを得た瞬間、「あ、趣味はアウトドアや登山だな！」と一気に絞り込めます（曖昧さが激減する）。このとき、準備する道具と趣味の間の相互情報量は「非常に大きい」となります。

このように、「変数 $X$ （ヒント）を得たことで、変数 $Y$ の不確実性（エントロピー）がどれくらい共有・解消されたか」を定量化したものが相互情報量です。

データ分析でよく使われる「相関係数（ピアソンの積率相関係数）」は、まっすぐな直線関係（比例関係）しか判定できません。

例えば、 $Y = X^2$ （二次関数）のようなU字型の関係がある場合、相関係数を計算すると「0（無関係）」と判定されてしまいます。しかし、相互情報量なら「直線的でなくても関係性がある」ことを正しく検出できるという強力なメリットがあります。

機械学習モデルを作るとき、100個も200個もデータ項目（特徴量）があると、学習が遅くなったり過学習を起こしたりします。

異なるカメラや撮影手法で撮った2枚の画像の位置をピタリと合わせる場面でも使われます。

文章の中で、どの単語とどの単語が強い繋がりを持っているかを分析する際にも活用されます（自己相互情報量：PMI など）。

相互情報量 $I(X; Y)$ は、エントロピー（曖昧さ）を使った以下の式で定義されます。

$I(X; Y) = H(X) + H(Y) - H(X, Y)$

この関係を図解したベン図がこちらです。

各要素の関係性は以下のようになります。

つまり、2つの変数がどれくらい「情報（不確実性の減少）を共有しているか」を表しているのが相互情報量です。

相互情報量がどんな量なのかを整理すると以下のようになります。

E資格で「相互情報量」が出てきたら、「2つのデータがどれだけ情報を共有しているか（ベン図の重なり部分）」とイメージしてみてください！