AIや機械学習のアルゴリズムを学ぶ際、あるいはE資格の対策を進める中で必ず登場するのが「最尤推定（Maximum Likelihood Estimation: MLE）」です。ディープラーニングにおける損失関数の導出や統計モデルのパラメータ決定など、現代のデータサイエンスを支える核心的な概念となっています。
今回は、E資格の合格者視点から、最尤推定の基本概念や具体的な導出ステップ、さらには試験対策で注意すべきポイントまで、初心者向けに噛み砕いて解説します。
最尤推定を一言でいうと
最尤推定とは、「手元にある観測データが得られる確率（尤度）が最も高くなるように、モデルのパラメータを決定する手法」のことです。
「尤（もっと）も尤（もっと）もらしい」という漢字の通り、観測されたデータに一番しっくりくるパラメータを探し出すアプローチを指します。
最尤推定の詳細
通常の確率計算では「パラメータ（コインの表が出る確率など）が既知」の状態で「データ（表が何回出るか）の発生確率」を計算します。しかし、現実に直面する問題の多くはその逆です。「データ（観測値）だけが手元にあり、その背景にあるパラメータは不明」という状況です。
最尤推定では、観測されたデータを固定し、パラメータ \theta の関数として捉え直した「尤度関数 L(\theta)」を定義します。そして、この L(\theta) を最大化するパラメータ \hat{\theta}（最尤推定量）を数学的に算出します。
データ x_1, x_2, \dots, x_n が互いに独立で、同じ確率分布 f(x; \theta) から従う（i.i.d.）と仮定した場合、尤度関数は各データの確率（密度）の積として以下のように表されます。
L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)
この関数の値を最大にする \theta を見つけることが、最尤推定のゴールです。
なぜ積ではなく「対数尤度関数」を使うのか？
最尤推定の計算を行う際、尤度関数 L(\theta) のまま直接微分して最大値を求めることはめったにありません。実務や理論展開では、尤度関数の自然対数をとった「対数尤度関数 \ln L(\theta)」（または \log L(\theta)）を最大化します。
対数をとる主な理由は以下の2点です。
- 積を和に変換して微分計算を極めて容易にするため： 対数の性質 \ln(a \times b) = \ln(a) + \ln(b) を用いることで、複雑な積の形が簡単な足し算（\sum）の形に変形でき、偏微分が格段にやりやすくなります。
- アンダーフロー（桁落ち）を防ぐため： 確率の値（1以下の数値）を何百、何千回と掛け合わせると、コンピュータ上の数値が小さくなりすぎてゼロとして処理されてしまいます。対数をとることでこれを防ぐことができます。
なお、対数関数は単調増加関数であるため、L(\theta) を最大化する \theta と \ln L(\theta) を最大化する \theta は完全に一致します。
正規分布における最尤推定の例
データが平均 \mu、分散 \sigma^2 の正規分布 N(\mu, \sigma^2) に従う場合の最尤推定量を導出すると、重要な事実が分かります。
対数尤度関数を \mu および \sigma^2 で偏微分してゼロとおく（\frac{\partial \ln L}{\partial \mu} = 0, \frac{\partial \ln L}{\partial \sigma^2} = 0）ことで、以下の推定量が得られます。
- 母平均 \mu の最尤推定量 \hat{\mu}： 標本平均 \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i と一致する。
- 母分散 \sigma^2 の最尤推定量 \hat{\sigma}^2： 標本分散 S^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2 （分母が n）と一致する。
ここで注目すべきは、母分散の最尤推定量が不偏分散（分母が n-1）ではなく、標本分散（分母が n）になるという点です。最尤推定量は必ずしも「不偏性」を満たすわけではないという典型例です。
資格勉強時のコツ
E資格や統計検定の勉強において、最尤推定をマスターするためのコツは「損失関数（交差エントロピー誤差など）との接続を意識すること」です。
機械学習のディープラーニングで用いられる負の対数尤度関数（Negative Log-Likelihood: NLL）は、対数尤度関数にマイナスをかけたものです。尤度関数を「最大化」することと、負の対数尤度関数（損失関数）を「最小化」することは数学的に完全に等価です。
「なぜロジスティック回帰や分類問題で交差エントロピー誤差を使うのか？」という疑問の答えは、「ベルヌーイ分布に基づき最尤推定を行っているから」という根本的な原理に繋がります。単に公式を覚えるだけでなく、確率モデルから損失関数が導かれる流れを押さえておくと、応用問題にも対応できるようになります。
例題
問題
以下の文の（ ア ）〜（ ウ ）に入る最も適切な語句または数値を答えてください。（4択問題）
最尤推定において、観測データの積で表される尤度関数の最大化を容易にするため、通常は（ ア ）をとった関数を用います。データが正規分布に従う場合、母平均の最尤推定量は（ イ ）と一致し、母分散の最尤推定量は分母が（ ウ ）の標本分散となります。
① ア：自然対数、イ：標本平均、ウ：n
② ア：自然対数、イ：標本中央値、ウ：n-1
③ ア：常用対数、イ：標本平均、ウ：n-1
④ ア：平方根、イ：標本モード、ウ：n
解答
正解：①
解説：
最尤推定では計算の容易化のために自然対数をとった対数尤度関数を用います。正規分布の場合、母平均の最尤推定量は標本平均 \bar{x}、母分散の最尤推定量は偏差平方和をサンプルサイズ n で割った標本分散となります（n-1 で割る不偏分散とは異なる点に注意が必要です）。
問題1
○×問題
【問題】
最尤推定量は常に不偏性をもつため、標本サイズ n が小さい場合であっても推定量にバイアス（偏り）は生じない。〇か×か。
解答
正解：×
解説：
最尤推定量は必ずしも不偏性を持つとは限りません。例えば、正規分布の母分散の最尤推定量 \hat{\sigma}^2 = \frac{1}{n} \sum (x_i - \bar{x})^2 の期待値は \frac{n-1}{n}\sigma^2 となり、真の母分散より小さく見積もってしまうバイアスが存在します（ただし、n \to \infty で真の値に収束する「一致性」や「漸近不偏性」は持ちます）。
問題2
ひっかけ問題
【問題】
表が出る確率が p である不細工なコインを3回投げたところ、「表、裏、表」の順で出ました。この観測データに基づく確率 p の最尤推定量 \hat{p} として正しいものを1つ選んでください。
① \frac{1}{3}
② \frac{1}{2}
③ \frac{2}{3}
④ \frac{3}{4}
解答
正解：③
解説：
① 不正解。裏が出た割合 \frac{1}{3} を選んでしまう誤りです。
② 不正解。事前知識として「コインの確率は0.5だろう」という先入観（あるいはベイズ推定的な思考）に引きずられたひっかけ選択肢です。最尤推定では観測データのみから確率を求めます。
③ 正解。観測された順序における尤度関数は L(p) = p \times (1-p) \times p = p^2(1-p) となります。対数尤度関数 \ln L(p) = 2 \ln p + \ln(1-p) を p で微分して 0 とおくと、\frac{2}{p} - \frac{1}{1-p} = 0 \implies 2(1-p) = p \implies 3p = 2 \implies p = \frac{2}{3} となります。直感的にも「3回中2回表が出た」ため \frac{2}{3} です。
④ 不正解。試行回数や計算を誤った結果の選択肢です。
関連用語
| 用語 | 簡易的な説明 |
|---|---|
| 尤度関数（Likelihood Function） | 観測データを固定し、モデルのパラメータ \theta の関数として表した確率（または確率密度）の関数。 |
| 対数尤度関数 | 尤度関数の自然対数をとったもの。積を和に変換できるため計算や微分が容易になる。 |
| 最小二乗法（OLS） | 観測値と予測値の残差平方和を最小化する手法。誤差項が正規分布に従う場合、最尤推定の結果と一致する。 |
| ベイズ推定 | パラメータを固定値ではなく確率変数として捉え、事前確率と尤度から事後確率を求める手法。 |
コメント