【E資格】数学的基礎：確率・統計（確率モデルにおけるパラメータ推定）

E資格合格を目指し、数学的基礎の「確率・統計」分野から、確率モデルにおけるパラメータ推定について勉強した内容をまとめました。機械学習の根底を支える重要な理論が詰まっているため、しっかり整理していきます。

今回学習する用語の要約リスト

  • ベイズ則：事前確率と尤度から事後確率を求めるための基本的な定理
  • ナイーブベイズ：クラスが与えられたとき、各特徴量が条件付き独立であると仮定する分類アルゴリズム
  • 平均二乗誤差：予測値と真値のズレを2乗して平均した、回帰でよく使われる損失関数
  • 対数尤度：尤度の対数をとったもの。積を和に変換できるため、計算や最適化を扱いやすくできる
  • ダイバージェンス：2つの確率分布の違いを測るための指標。KLダイバージェンスなどが代表例
  • 最尤推定：観測データが得られる尤度を最大化することで、パラメータを点推定する方法
  • MAP推定：事前分布を考慮し、事後確率が最大となるパラメータを点推定する方法
  • ベイズ推定：パラメータを確率変数として扱い、事後分布として推定する方法

各用語のメタファー（日常の例え話）

数学的な概念を、まずは直感的に理解するための日常的な例え話に置き換えて整理しました。

ベイズ則：目撃証言と犯人の特定

あるお店に泥棒が入り、「犯人は赤い服を着ていた」という目撃証言（データ）が出たとします。ただ、街に赤い服の人が1人しかいなければ、その証言は犯人を特定するうえでかなり強い材料になります。一方、もしその日が「赤い服を着るお祭り」で街の全員が赤い服を着ていたら、その証言だけでは犯人を絞り込みにくくなります。このように、「もともとの前提（事前確率）」と「その証拠がどれくらい起こりやすいか（尤度）」を組み合わせて、証拠を得た後の確率（事後確率）を求める計算ルールです。

ナイーブベイズ：レシピの具材だけで料理名を推理する（ただし相性は無視）

「醤油、米、魚、海苔」というキーワードだけを見て、これが「寿司」か「カレー」かを判定するAIです。本来なら「米の上に魚がのっている」といった特徴同士の関係も考えられますが、ナイーブベイズは「それぞれの特徴が、その料理でどれくらい現れやすいかを個別に見て計算しよう！」という、細かい相関関係を単純化して扱うことで計算を軽くする推理屋さんです。

平均二乗誤差：遅刻時間に対する「学校の先生の怒り度」

1分遅刻したら1、2分遅刻したら4、10分遅刻したら100……というように、「ズレをそのまま評価するのではなく、2乗してから平均することで、大きなズレほど強く効いてくる採点基準」です。つまり、ちょっとしたミスよりも大きなミスを重く評価する仕組みになっています。

対数尤度：ウルトラ巨大な「掛け算の山」を、扱いやすい「足し算の階段」に変える魔法

たくさんのデータについて確率をすべて掛け合わせると、非常に小さな値になって数値計算上のアンダーフローが起こることがあります。そこで、対数（log）という特殊なメガネをかけることで、扱いにくい掛け算を足し算に変えて計算をスマートにする方法です。さらに、対数は正の値の範囲で単調増加するため、尤度を最大化する代わりに対数尤度を最大化しても、最適なパラメータは変わりません。

ダイバージェンス：2人の「味の好みのズレ」を測るメーター

A君とB君のラーメンの好みを比べたとき、醤油・味噌・塩をどれくらいの割合で好むかが、どれくらい違っているかを数値化します。普通の距離（センチメートル）とは違って、特にKLダイバージェンスでは「A君から見たB君のズレ」と「B君から見たA君のズレ」が同じとは限りません。2つの確率分布の「違い」を測るものさし、と考えるとイメージしやすいです。

最尤推定：目撃した結果だけから「一番怪しいサイコロの形」を言い当てる

目の前に、10回中8回も「1」が出る不思議なサイコロがあります。事前の知識は一切考慮せず、「今、目の前で起きたこの結果（データ）が最も起こりやすくなるのは、どんなサイコロの時か？」と、手元のデータに基づいてパラメータ（例えば「1」が出る確率）を推定する手法です。

MAP推定：経験者の勘（ベテラン刑事の直感）を取り入れた犯人探し

最尤推定は基本的に観測データの尤度だけを使って推定しますが、MAP推定は「この地域で過去にこの犯罪を起こしたのはあのグループが多い（事前知識）」という情報も取り入れ、目の前の証拠と組み合わせて、事後確率が最も高くなるパラメータを1つ推定する手法です。

ベイズ推定：可能性のグラデーションで答える天気予報

最尤推定やMAP推定が「このデータから考えると、パラメータはこの値が最もよさそうだ」と1つの値に決める点推定なのに対し、ベイズ推定は「このデータから考えると、パラメータにはこのあたりの値がどれくらいありそうか」と、可能性の幅（確率分布）を残したまま推定する手法です。新しいデータが増えるたびに事後分布を更新できるため、パラメータの不確実性も含めて扱えるのが特徴です。

各用語の相互関係図

今回学習した用語のつながりや、アプローチの違いを整理したマップです。

【確率モデルを理解するための基礎】
ベイズ則
　│
　├──(条件付き独立を仮定)──> ナイーブベイズ
　│
　├──────────────────────────┐
　▼　　　　　　　　　　　　　　　　　▼
【点推定：パラメータを1つの値で推定】　【分布として推定】
　│　　　　　　　　　　　　　　　　　│
　├── 最尤推定　　　　　　　　　　 └── ベイズ推定
　│　　│　　　　　　　　　　　　　　　　   │
　│　　├── 対数尤度を利用　　　　　　　　└── 事後分布を求める
　│　　│
　│　　└──(誤差が正規分布の場合)
　│　　　　▼
　│　　 MSE最小化
　│
　└── 事前分布を考慮
　　　▼
　　MAP推定
　　　│
　　　└──(事前分布が一様の場合)
　　　　　▼
　　　　最尤推定と一致
【確率分布同士の違いを評価】
ダイバージェンス
　└── KLダイバージェンスなど

各用語の解説

ベイズ則 (Bayes’ Theorem)

事前の確率（事前確率）に、新しいデータや証拠を観測した結果を加味することで、事後確率を求めるための法則です。

条件付き確率の定義から導かれ、以下の数式で表されます。

P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}

ここで、

  • P(θ|X)：事後確率
  • P(X|θ)：尤度
  • P(θ)：事前確率
  • P(X)：周辺尤度（エビデンス）

という関係になります。

ナイーブベイズ (Naive Bayes)

ベイズ則を利用した分類アルゴリズムです。

特徴量がクラスに条件付けられたときに互いに条件付き独立であるという、単純（ナイーブ）な仮定を置くことで、計算を大幅に簡略化します。

例えば特徴量を X = {x₁, x₂, …, xd}、クラスを y とすると、

P(X|y) = \prod_{i=1}^{d}P(x_i|y)

と分解できます。

実際のデータでは特徴量同士が完全に独立しているとは限りませんが、それでも高い分類性能を示すことがあり、テキスト分類やスパムメール判定などで利用されてきました。

平均二乗誤差 (MSE: Mean Squared Error)

予測値と真の値のズレ（誤差）を2乗し、その平均をとった指標です。

回帰問題の損失関数として広く使われており、誤差が大きいほど大きなペナルティを与える特徴があります。

数式は以下の通りです。

\text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2

また、誤差が独立同分布の正規分布に従う回帰モデルでは、MSEの最小化は最尤推定と同値になる関係があります。

この関係は、後述する最尤推定を理解するうえでも重要です。

対数尤度 (Log-Likelihood)

データが与えられた確率モデルから発生する「もっともらしさ」を表す尤度の対数をとったものです。

独立なデータの尤度は確率の積として表されることが多いですが、対数をとることで積を和に変換できます。

\log L(\theta)=\sum_{i=1}^{n}\log P(x_i|\theta)

このため、計算や微分が扱いやすくなります。

また、多数の確率を掛け合わせることで非常に小さな値になってしまうアンダーフローを避けるうえでも役立ちます。

さらに、対数関数は正の範囲で単調増加なので、尤度を最大化することと対数尤度を最大化することは同値です。

ダイバージェンス (Divergence)

ダイバージェンスは、2つの確率分布などの違いを測るための指標です。

代表的なものにKLダイバージェンス（カルバック・ライブラー情報量）があります。

離散確率分布の場合、KLダイバージェンスは次のように表されます。

D_{\mathrm{KL}}(P\parallel Q)=\sum_x P(x)\log\frac{P(x)}{Q(x)}

KLダイバージェンスは「距離」と呼ばれることがありますが、一般的な距離の定義とは異なります。

特に対称ではないこと、一般には三角不等式を満たさないことから、数学的な意味での距離（metric）ではありません。

また、値は0以上で、PとQが同一の分布であるときに0になります。

最尤推定 (MLE: Maximum Likelihood Estimation)

手元にあるデータが得られる尤度が最大になるように、確率モデルのパラメータを決定する手法です。

事前分布を考慮せず、観測データからパラメータを点推定します。

実際の計算では、尤度そのものではなく対数尤度を最大化することがよくあります。

\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}L(\theta)

対数尤度を使えば、同じことを次のようにも表せます。

\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}\log L(\theta)

MAP推定 (Maximum A Posteriori Estimation)

最大事後確率推定のことです。

ベイズ則を利用し、データが与えられた条件でのパラメータの事後確率が最大になるように推定します。

最尤推定と異なり、パラメータの事前分布 P(θ)（事前知識）を考慮できる点が特徴です。

\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}P(\theta|X)=\arg\max_{\theta}P(X|\theta)P(\theta)

ここでは、分母の P(X) は θ に依存しないため、最大化の対象から外しています。

また、事前分布を一様分布とすると、事前確率の項が定数になるため、MAP推定は最尤推定と一致します。

ベイズ推定 (Bayesian Estimation)

最尤推定やMAP推定のようにパラメータを単一の「値」として決めるのではなく、パラメータ自体を確率変数として扱い、事後分布として推定する考え方です。

P(\theta|X)\propto P(X|\theta)P(\theta)

新しいデータが得られるたびに、事前分布をデータによって更新して事後分布を求めることができます。

そのため、パラメータの不確実性も含めて扱えることが大きな特徴です。

各用語の4択問題と解答

ベイズ則に関する問題

問題

ベイズ則において、データ X が観測された後に、パラメータ θ が従う確率 P(θ|X) を何と呼ぶか？

  • A) 事前確率
  • B) 尤度
  • C) 事後確率
  • D) 周辺尤度

解答・解説

正解：C) 事後確率

【各選択肢の解説】
・A) 事前確率：データXを観測する前のパラメータの確率 P(θ) を指すため誤りです。
・B) 尤度：パラメータθを固定したときのデータXの尤もらしさ P(X|θ) を指すため誤りです。
・C) 事後確率：データXを観測した後のパラメータθの確率 P(θ|X) を指すため正解です。
・D) 周辺尤度：P(X) を指し、パラメータθを積分・総和によって消去したものなので誤りです。

ナイーブベイズに関する問題

問題

ナイーブベイズ分類器において置かれる、最も特徴的な「ナイーブ（単純）」な仮定とは何か？

  • A) すべてのデータが正規分布に従う
  • B) 各特徴量がクラスに対して条件付き独立である
  • C) パラメータの事前確率がすべて等しい
  • D) 誤差が平均二乗誤差に従う

解答・解説

正解：B) 各特徴量がクラスに対して条件付き独立である

【各選択肢の解説】
・A) すべてのデータが正規分布に従う：ナイーブベイズは正規分布だけに限定されず、ベルヌーイ分布や多項分布など、データに応じたモデルが存在するため誤りです。
・B) 各特徴量がクラスに対して条件付き独立である：これがナイーブベイズの代表的な仮定なので正解です。
・C) パラメータの事前確率がすべて等しい：ナイーブベイズの本質的な仮定ではないため誤りです。
・D) 誤差が平均二乗誤差に従う：MSEは回帰などで使われる損失関数であり、ナイーブベイズの基本仮定ではないため誤りです。

平均二乗誤差に関する問題

問題

平均二乗誤差（MSE）を最小化することは、誤差項がどのような分布に従うと仮定した最尤推定と等価になるか？

  • A) ベルヌーイ分布
  • B) ポアソン分布
  • C) ガウス（正規）分布
  • D) 一様分布

解答・解説

正解：C) ガウス（正規）分布

【各選択肢の解説】
・A) ベルヌーイ分布：二値分類などの確率モデルで使われ、通常は交差エントロピーなどにつながるため誤りです。
・B) ポアソン分布：カウントデータなどを扱う確率モデルであり、MSE最小化と直接対応するものではないため誤りです。
・C) ガウス（正規）分布：誤差が独立同分布の正規分布に従うと仮定した場合、最尤推定は二乗誤差の最小化と等価になるため正解です。
・D) 一様分布：MSE最小化とは対応しないため誤りです。

対数尤度に関する問題

問題

最尤推定において、尤度関数ではなく「対数尤度関数」を最大化する理由として不適切なものはどれか？

  • A) 積の計算を和の計算に変換して計算を容易にするため
  • B) 確率の掛け算によるアンダーフローを防ぐため
  • C) 対数変換をしても最大値を与えるパラメータが変わらないため
  • D) 確率分布を必ず正規分布に変換できるため

解答・解説

正解：D) 確率分布を必ず正規分布に変換できるため

【各選択肢の解説】
・A) 積を和に変換：独立なデータの尤度は積で表されることが多く、対数をとることで和に変換できるため適切です。
・B) アンダーフローを防ぐ：非常に小さな確率を多数掛け合わせることで発生する数値的な問題を軽減できるため適切です。
・C) 最大値を与えるパラメータが変わらない：対数関数は正の範囲で単調増加なので、尤度と対数尤度の最大化は同値です。
・D) 確率分布を必ず正規分布に変換：対数をとることは尤度を扱いやすくするための変換であり、確率分布を正規分布に変換するものではないため不適切です。

ダイバージェンスに関する問題

問題

2つの確率分布 P と Q の差異を測る「KLダイバージェンス（DKL(P ∥ Q)）」の性質として正しいものはどれか？

  • A) 常に負の値をとる
  • B) DKL(P ∥ Q) と DKL(Q ∥ P) は常に等しい
  • C) PとQが一致するとき、値は0になる
  • D) 距離の公理（三角不等式）を満たす

解答・解説

正解：C) PとQが一致するとき、値は0になる

【各選択肢の解説】
・A) 常に負の値をとる：KLダイバージェンスは0以上なので誤りです。
・B) 常に等しい：KLダイバージェンスは一般に非対称なので誤りです。
・C) PとQが一致するとき、値は0になる：正解です。KLダイバージェンスはP=Qのとき0になります。
・D) 距離の公理を満たす：一般に対称性や三角不等式を満たさないため、通常の意味での距離ではありません。

最尤推定に関する問題

問題

最尤推定（MLE）とMAP推定の最大の違いは何か？

  • A) パラメータの事前分布（事前知識）を考慮するかどうか
  • B) 連続値の予測ができるかどうか
  • C) 最適化に勾配降下法を使うかどうか
  • D) 計算結果が確率分布になるかどうか

解答・解説

正解：A) パラメータの事前分布（事前知識）を考慮するかどうか

【各選択肢の解説】
・A) パラメータの事前分布を考慮するか：MAP推定では事前分布P(θ)を考慮しますが、最尤推定では観測データの尤度を最大化するため正解です。
・B) 連続値の予測ができるか：MLEとMAPはパラメータ推定の方法であり、連続値・離散値のどちらに限定されるものでもないため誤りです。
・C) 最適化に勾配降下法を使うか：どの最適化アルゴリズムを利用するかは別の問題なので誤りです。
・D) 計算結果が確率分布になるか：MLEとMAPはいずれもパラメータの点推定を行う方法なので誤りです。

MAP推定に関する問題

問題

MAP推定において、パラメータの事前分布として「一様分布」を仮定した場合、MAP推定の結果はどの手法と一致するか？

  • A) ベイズ推定
  • B) 最尤推定
  • C) 最小二乗法
  • D) ロジスティック回帰

解答・解説

正解：B) 最尤推定

【各選択肢の解説】
・A) ベイズ推定：ベイズ推定では事後分布そのものを求めるため、MAP推定とは異なります。
・B) 最尤推定：事前分布が一様分布であればP(θ)が定数となるため、事後確率の最大化は尤度の最大化と一致します。
・C) 最小二乗法：正規分布の誤差を仮定した最尤推定などとは関係しますが、一様事前分布のMAP推定そのものと直接同一になるわけではないため誤りです。
・D) ロジスティック回帰：ロジスティック回帰は分類モデルの一つであり、推定方法そのものではないため誤りです。

ベイズ推定に関する問題

問題

ベイズ推定の説明として最も適切なものはどれか？

  • A) パラメータを最も尤もらしい「1つの値」として決定する
  • B) パラメータを固定値とみなして、データの発生確率を最大化する
  • C) パラメータを確率変数として扱い、その「確率分布」を求める
  • D) 分類問題において、特徴量が完全に独立であると仮定して予測する

解答・解説

正解：C) パラメータを確率変数として扱い、その「確率分布」を求める

【各選択肢の解説】
・A) 最も尤もらしい1つの値として決定：最尤推定やMAP推定などの点推定の説明なので誤りです。
・B) 固定値とみなしてデータ発生確率を最大化：最尤推定の考え方なので誤りです。
・C) 確率変数として扱い、確率分布を求める：ベイズ推定ではパラメータの事後分布を求めるため正解です。
・D) 特徴量が独立であると仮定：ナイーブベイズの特徴的な仮定なので誤りです。

この記事の関連用語一覧（シラバス周辺知識）

確率モデルのパラメータ推定をより深く理解するために、合わせて押さえておきたい周辺用語一覧です。

周辺用語名英語表記本テーマ（パラメータ推定）との関連性
条件付き確率Conditional Probabilityベイズ則の出発点となる確率。ある事象が起きた条件下での別の事象の確率。
ガウス分布（正規分布）Gaussian Distribution正規分布した誤差を仮定した場合、最尤推定とMSE最小化の関係を理解するために重要な確率分布。
共役事前分布Conjugate Prior Distributionベイズ推定において、事後分布が事前分布と同じ種類の分布になるように選ばれた事前分布。
事後分布Posterior Distributionベイズ推定で求める、データ観測後のパラメータの確率分布。
尤度関数Likelihood Functionパラメータを変化させたときの、観測データの尤もらしさを表す関数。最尤推定で最大化する対象。
KLダイバージェンスKullback-Leibler Divergence2つの確率分布の違いを測る代表的なダイバージェンス。機械学習や情報理論でも利用される。

コメント

タイトルとURLをコピーしました