自己情報量は何に使うのか？

E資格の勉強や機械学習の学習を進めていると、必ず最初の方に出てくる「自己情報量（Self-Information）」。数学的な定義式（ $-\log_2 P(x)$ ）を見ても、「で、結局これは何に使えるの？」「どんな役に立つの？」とイメージが湧きにくい用語の筆頭です。

この記事では、自己情報量が何のために存在し、AIや機械学習のどのような場面で使われているのかを、直感的な概念から具体的な活用例まで分かりやすく解説します。

結論：自己情報量は何に使えるのか？

自己情報量は単体で使われることよりも、より高度な評価指標（平均情報量・交差エントロピーなど）を作るための「最小単位（部品）」として使われます。

主な用途や使われ方は、大きく分けると以下の3つです。

1. AIの予測誤差（損失関数）の計算：
「交差エントロピー誤差」の構成要素となり、AIの学習（パラメータ更新）をガイドする。
2. データの不確実性（曖昧さ）の数値化：
「平均情報量（エントロピー）」の基礎となり、決定木アルゴリズムなどでデータを綺麗に分類する基準になる。
3. 異常検知やデータ圧縮への応用：
「めったに起きない確率の低いイベント」を検知したり、発生確率に応じてデータを効率的に圧縮（ハフマン符号など）したりする。

特にE資格や機械学習の実務で重要なのは、1つ目の「交差エントロピー誤差（損失関数）」の基礎になっている点です。

活用例を見る前に、なぜ「確率」と「情報量」が関係しているのかを直感的に理解しておきましょう。

自己情報量とは一言で言えば、「ある出来事が起きた時の驚きの大きさ（意外性）」です。

このように「確率が低い（めったに起きない）イベントほど、得られる情報量（驚き）は大きくなる」という性質を数式で表したものが自己情報量です。

「なぜ珍しいと情報量が大きくなるの？」と疑問に思うかもしれません。これは、数学や情報理論における「情報量」が「不確実性を減らしてくれる度合い（状況を確定させる力）」を表しているからです。

例えば、100人の容疑者から1人の犯人を特定するゲームを考えてみます。

「犯人は人間です」（確率100%の当たり前の情報）： 全員に当てはまるので何も絞り込めません。知っても不確実性が減らないため、情報量はゼロです。
「犯人はオッドアイです」（確率1%以下のめったにない情報）： 滅多にいない珍しい特徴なので、一発で犯人を特定できます。あいまいな状態を一気に解消してくれるため、情報量は超巨大になります。

このように、「めったに起きない確率が低い出来事」ほど、私たちの「分からない状態」を一気にクリアにしてくれるため、情報量が大きく設定されています。

この関係を数式で表したのが、自己情報量の定義式 $I(x) = -\log_2 P(x)$ です。確率 $P(x)$ が0に近づく（珍しくなる）ほど、計算される情報量 $I(x)$ は大きくなります。

E資格で最も頻出する活用例が、画像分類や自然言語処理で使われる「交差エントロピー誤差（Cross-Entropy Loss）」です。

AIが画像を見て「これは猫（正解）か、犬（不正解）か」を予測する場面を考えます。

正解の確率を $P$ としたとき、自己情報量 $-\log P$ をペナルティ（損失）として計算します。正解確率が99%ならペナルティはほぼゼロですが、正解確率が1%（ほぼ間違いと予測）だとペナルティ値が激増します。これにより、AIの誤りを強く補正することができます。

機械学習の代表的なアルゴリズムである「決定木」でも、自己情報量を応用した概念が使われます。

自己情報量を全データの平均としてまとめたものを「エントロピー（平均情報量）」と呼びます。エントロピーはデータの「乱雑さ（ごちゃまぜ度）」を表します。

検証内容： データ内でよく出現する文字（確率が高い＝情報量が小さい）には短いビットを割り当て、めったに出ない文字（確率が低い＝情報量が大きい）には長いビットを割り当てる。
目的： ファイル全体のデータ量を効率的に最小化する。