ベイズ情報量規準とは？

「ジャストサイズ」を数式で測る基準

コンビニで試着した服を思い出してください。大きすぎると肩からすっと落ち、小さすぎると腕が引っかかる。BIC（ベイズ情報量規準、Bayesian Information Criterion）が求めているのは、ちょうどいいサイズ選びそのものです。

つまり、モデルの”当てはまる度合い”を高く評価しつつ、同時に”パラメータ（調整するノブ）が多いこと”を罰点で引き算する、モデル選びの評価指標です。

「AIの話」としてだけ見ると遠い存在に見えますが、実は日常の”選び方”でBICの思考はすでに使われています。

つまり、BICは”知識が多いほど優れている”という直感を、点数で一度ひっくり返す装置です。

初めて「BIC」という言葉を耳にしたとき、多くの人がつまずくのは、以下の3点です。

「BICが低いほど、何でもモデルとして優れている」と思っているが、低いのは”そのデータ・その問い”に対してのこと。別のデータでは逆転します
「パラメータを増やせば、評価は必ず良くなる」と思っているが、BICはパラメータ数を罰で引いており、増やすほど下がるわけではありません
「AIC（赤池情報量規準、Akaike Information Criterion）とBICは同じ」と思っているが、パラメータへの罰の重さが違い、候補モデルに差が出ます

この”違い”を自分の言葉で説明できるかどうかで、理解の段数が変わります。

AICとの違いは下記に図示します。

G検定では、モデルの良し悪しをどう決めるかという”モデル選択”が頻出テーマです。

BICはそこで、”当てはまる度合いだけを見るとパラメータが多いモデルが勝つ、しかし汎化（未見のデータでの働き）では逆転しうる”という説明の根拠として出題されます。

確認方法は1つ：ノートを開き、”BICはAICと何が違うか”を30秒で口に出せるか。言えなければ、”罰の重さ”の1行だけ覚えます。

BICは、”モデルの当てはまり”と”パラメータの多さ”を点数で両立させるための、ジャストサイズのメジャーです。

📚 さらに理解を深めたい方には、G検定の公式テキストがお薦めです！

リンク

※ここからは検証コンテンツです。
画像内の説明には誤りが含まれる可能性があるため、本文の解説とは分けています。

ベイズ情報量規準の「最適なモデル選び」が、ロボットのハサミによる過剰要素の除去という比喩で明快に伝わります。一方で、奥行きと立体感がやや平面寄りで、立体感に物足りなさを感じます。