【E資格】平均二乗誤差

E資格

E資格シラバスの数学的基礎において回帰問題の評価指標や損失関数として登場する平均二乗誤差(MSE: Mean Squared Error)について解説します。機械学習モデルの予測精度を評価し、パラメータを最適化する上で極めて重要な役割を持つ指標です。

基本的な考え方

平均二乗誤差とは、モデルが予測した値と実際の真の値との間の「ズレ(誤差)」を2乗し、それらをすべて足し合わせて平均をとった値です。この値がゼロに近ければ近いほど、モデルの予測が正確であることを意味します。誤差を2乗することによって、「予測がプラス側にズレた」場合と「マイナス側にズレた」場合が互いに打ち消し合うのを防ぎ、すべてのズレを正のペナルティとして正しく蓄積することができます。

メタファー(日常の例え話)

概念を直感的に理解するための日常的な例え話です。

【遅刻時間に対する「学校の先生の怒り度」】

1分遅刻したら1の怒り、2分遅刻したら4の怒り、10分遅刻したら100の怒り……というように、「ちょっとした小さなミスは比較的寛大に許せるけれど、大失敗(大きなズレ)に対しては圧倒的に厳しいペナルティを与える」という、2乗の厳しさで評価する採点基準が平均二乗誤差の性質そのものです。

公式

データの総数を ni 番目のデータの真の値を y_i、モデルによる予測値を \hat{y}_i としたとき、平均二乗誤差の公式は以下の通りです。

\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

この公式の通り、個々の誤差 (y_i - \hat{y}_i) を2乗し、\sum(総和)をとった後に n で割ることで、データ1件あたりにおける平均的な「2乗のズレ」の大きさを算出しています。

実際の使い方の例

具体的なイメージを持つために、「部屋の広さ(平米)」から「家賃(万円)」を予測する回帰モデルを考えます。手元に3つの物件データがあり、モデルがそれぞれ家賃を予測したとします。

1. 各データの誤差の計算と2乗
各物件について、「実際の家賃」と「モデルの予測家賃」の差(誤差)を出し、それを2乗します。

  • 物件A:実際 10万円 / 予測 8万円 ── 誤差 2 ── 2乗すると 4
  • 物件B:実際 6万円 / 予測 7万円 ── 誤差 -1 ── 2乗すると 1
  • 物件C:実際 15万円 / 予測 10万円 ── 誤差 5 ── 2乗すると 25

2. 平均の算出
2乗したペナルティ(4、1、25)の合計は30となります。これをデータの件数である3で割ることで、平均二乗誤差(MSE)を計算します。

  • \text{MSE} = \frac{4 + 1 + 25}{3} = 10

この物件Cのように、誤差が「5万円」と大きく外れたデータが存在すると、2乗されたペナルティ(25)が爆発的に大きくなり、MSE全体の値が引き上げられます。このように、モデルに「大きな外れ値を出さないように学習させたい」という場面でMSEを損失関数として適用するのが実務における王道の使い方です。

〇×問題と解答

理解度を確認するための〇×問題です。E資格試験で問われやすいポイントを想定しています。

外れ値への敏感さ

問題

平均二乗誤差(MSE)は誤差を2乗して計算するため、予測値が真の値から大きく外れている「外れ値」に対して非常に敏感に反応し、大きなペナルティを与える特徴がある。

  • 〇(正しい)
  • ×(誤り)

解答・解説

正解:〇(正しい)

【解説】誤差が大きければ大きいほど、2乗したときのインパクトは指数関数的に跳ね上がります。そのため、MSEを最小化するようにモデルを学習させると、大きな外れ値を極力出さないようなモデルに仕上がります。

損失関数としての微分可能性

問題

平均二乗誤差(MSE)は、同じ回帰指標である平均絶対誤差(MAE)とは異なり、数式内に絶対値の記号を含まないため、すべての点で微分が不可能であり、勾配降下法による最適化計算の損失関数としては利用できない。

  • 〇(正しい)
  • ×(誤り)

解答・解説

正解:×(誤り)

【解説】むしろ逆です。MSEは2乗の式であるため、すべての点で滑らかに微分をすることが可能です。絶対値を含むMAEは「誤差ゼロ」の地点で尖点となり微分が不可能になりますが、MSEはきれいに微分して勾配(グラディエント)を計算できるため、ニューラルネットワークの損失関数として非常に扱いやすいというメリットを持っています。

最尤推定との等価性

問題

ガウス分布(正規分布)に従う独立同一なノイズ(誤差項)を仮定してモデルの最尤推定を行うことは、平均二乗誤差(MSE)を最小化することと数学的に全く等価である。

  • 〇(正しい)
  • ×(誤り)

解答・解説

正解:〇(正しい)

【解説】E資格の数学的基礎において最重要のひも付きです。誤差が正規分布に従うと仮定して対数尤度関数を最大化する式を構築し、数式を展開していくと、最終的に最小化すべき対象が「誤差の2乗和(MSE)」に帰着します。確率モデルと損失関数を結ぶ重要な理論です。

4択問題と解答

評価指標の単位に関する問題

問題

平均二乗誤差(MSE)を予測モデルの性能評価として単体で用いる際、実務上のデメリットとなる特徴として最も適切なものはどれか?

  • A) 誤差がプラスの時とマイナスの時でペナルティが相殺されてしまう
  • B) 算出された値の単位が、予測対象(真の値)の単位の2乗になってしまい直感的に解釈しにくい
  • C) データ件数 n が増えれば増えるほど、MSEの値も自動的に無限に大きくなってしまう
  • D) どのようなデータに対しても値が必ずマイナスになってしまう

解答・解説

正解:B) 算出された値の単位が、予測対象(真の値)の単位の2乗になってしまい直感的に解釈しにくい

【各選択肢の解説】
A) 誤差が相殺されてしまう:誤差を2乗することで必ず正の値に変換されるため、プラスとマイナスで相殺される現象は発生せず誤りです。
B) 単位が2乗の大きさになる:家賃(万円)を予測する場合、MSEの単位は「万円の2乗」という現実には存在しない単位になります。そのため直感的な予測のズレ幅が分かりにくく、実務では平方根をとって単位を元に戻した「RMSE(平方根平均二乗誤差)」が併用されるため正解です。
C) n の増加で自動的に無限に大きくなる:最後にデータの総数 n で割り算をして平均化しているため、データ件数が増えても値が勝手に肥大化することはなく誤りです。
D) 必ずマイナスになる:2乗した値の平均をとっているため、MSEは必ず0以上の正の値(またはゼロ)になり、マイナスになることはないため誤りです。

周辺用語一覧

体系的に理解する上で、セットで学習すべき重要キーワードです。

周辺用語名英語表記平均二乗誤差との関連性
平均絶対誤差(MAE)Mean Absolute Error誤差の絶対値の平均をとる回帰指標です。2乗しないため外れ値の影響を受けにくく、堅牢(ロバスト)なモデル評価に適しています。
平方根平均二乗誤差(RMSE)Root Mean Squared ErrorMSEの平方根(ルート)をとった指標です。単位が元のデータ(万円、センチメートルなど)と同じに戻るため、実務でズレを直感的に解釈する際に重宝されます。
ガウス分布(正規分布)Gaussian Distributionこの分布に従う誤差を想定した最尤推定のゴールが、MSEの最小化と完全に等価な最小二乗法に帰着するという強い理論的繋がりを持ちます。

コメント

タイトルとURLをコピーしました