E資格シラバスの数学的基礎における重要テーマの1つであるベイズ則（Bayes’ Theorem）について解説します。機械学習や統計的推論を理解するうえで重要な理論です。
基本的な考え方
ベイズ則とは、新しいデータや証拠を得ることで、あらかじめ持っていた不確実な予測（確率）を、得られた情報を反映した確率へと更新するための計算ルールです。通常の条件付き確率が「ある条件のもとで結果が起こる確率」を扱うのに対し、ベイズ則では、観測したデータから、そのデータを生み出した原因や仮説についての確率を更新できる点が大きな特徴です。
メタファー（日常の例え話）
概念を直感的に理解するための日常的な例え話です。
【目撃証言と犯人の特定】
あるお店に泥棒が入り、「犯人は赤い服を着ていた」という目撃証言（データ）が出たとします。ただ、街に赤い服の人が1人しかいなければ、その証言は犯人を絞り込むうえで強い材料になります。一方、もしその日が「赤い服を着るお祭り」で街の全員が赤い服を着ていたら、その証言だけでは犯人を絞り込みにくくなります。このように、「もともとの前提（事前確率）」と「その証拠がどれくらい起こりやすいか（尤度）」を組み合わせて、証拠を得た後の確率（事後確率）を求める計算ルールがベイズ則です。
公式
条件付き確率の定義から導かれる基本数式は以下の通りです。
P(\theta|X) = \frac{P(X|\theta) P(\theta)}{P(X)}機械学習のパラメータ推定の文脈において、それぞれの項は以下のような意味を持ちます。
- 事前分布（Prior）：P(\theta) はデータを得る前に、パラメータ \theta について持っている知識や仮定を確率分布として表したものです。
- 尤度（Likelihood）：P(X|\theta) はパラメータ \theta が与えられたとき、手元にあるデータ X がどれくらい起こりやすいかを表す確率（または確率密度）です。
- 事後分布（Posterior）：P(\theta|X) は実際にデータ X を観測した後の、パラメータ \theta に関する確率分布です。データによって更新された結果であり、ベイズ推定では重要な対象となります。
- 周辺尤度（Evidence）：P(X) は、パラメータ \theta の取り得る値を考慮したうえで、データ X が観測される確率です。事後分布の確率の合計（連続の場合は積分）が1になるようにする正規化の役割を持ちます。
〇×問題と解答
理解度を確認するための〇×問題です。E資格試験で問われやすいポイントを想定しています。
事後確率の性質
問題
ベイズ則において、データ X を観測した後に求められる P(\theta|X) は「事前確率」と呼ばれる。
- 〇（正しい）
- ×（誤り）
解答・解説
正解：×（誤り）
【解説】データ観測後に得られる P(\theta|X) は事後分布（Posterior）です。データ観測前のパラメータに関する確率分布 P(\theta) が事前分布（Prior）を指すため、ひっかけに注意が必要です。
尤度の定義
問題
ベイズ則の分子にある P(X|\theta) は「尤度」であり、パラメータ \theta が与えられたもとでデータ X が出現する確率（または密度）を表す。
- 〇（正しい）
- ×（誤り）
解答・解説
正解：〇（正しい）
【解説】P(X|\theta) は尤度（Likelihood）として扱われます。パラメータを固定したときに、そのデータがどれだけ発生しやすいか（もっともらしいか）を示します。
周辺尤度の役割
問題
ベイズ則の分母にある周辺尤度 P(X) は、パラメータ \theta の値によって変動するため、最尤推定やMAP推定の最適化計算において省略することができない。
- 〇（正しい）
- ×（誤り）
解答・解説
正解：×（誤り）
【解説】P(X) は、パラメータ \theta を周辺化（離散の場合は総和、連続の場合は積分）することで求められるため、観測データ X が固定されている場合は \theta に依存しない値です。そのため、MAP推定のように \theta について最大化するときには、分母の P(X) を省略して分子だけを比較することができます。
4択問題と解答
ベイズ推論の応用に関する問題
問題
ベイズ則において、パラメータ \theta の事前分布として、すべての値に対して均一な確率を割り当てる「一様分布」を設定した場合、事後分布を最大化するパラメータの推定値は、ある手法の推定値と一致します。その手法として正しいものはどれか？
- A) 事前確率推定
- B) 尤度関数推定
- C) 最尤推定
- D) ベイズ推定
解答・解説
正解：C) 最尤推定
【各選択肢の解説】
・A) 事前確率推定：事前分布はデータ観測前の前提知識や仮定を表すものであり、一般的な推定手法の名称ではないため誤りです。
・B) 尤度関数推定：尤度関数はデータのもっともらしさを表す関数の名称であり、一般的な推定手法の名称ではないため誤りです。
・C) 最尤推定：事前分布が一様分布であれば、事前分布の項は定数として扱えるため、事後分布の最大化は尤度の最大化と一致し、最尤推定と等価になります。そのため正解です。
・D) ベイズ推定：ベイズ推定では事後分布そのものを求めるため、MAP推定のように最大値を1つ選ぶ点推定とは区別して考える必要があります。
周辺用語一覧
体系的に理解する上で、セットで学習すべき重要キーワードです。
| 周辺用語名 | 英語表記 | ベイズ則との関連性 |
|---|---|---|
| 条件付き確率 | Conditional Probability | ある事象が起こるという条件のもとでの確率です。ベイズ則の公式を導出するベースとなる基本概念です。 |
| ベイズ更新 | Bayesian Updating | データを観測して得た事後分布を、次のデータを処理する際の新しい事前分布として利用し、逐次的に確率分布を更新していくプロセスです。 |
| 正規化定数 | Normalization Constant | ベイズ則の分母 P(X) に相当します。事後分布の確率の合計（または積分）が「1」になるように全体を調整する役割を持ちます。 |
コメント