G検定の学習を進めていて、「過学習（オーバーフィッティング）」という言葉に苦戦していませんか？
テキストを開くと「訓練データに対して過剰に適合し、未知のデータに対する予測性能（汎化性能）が低下すること」などと書かれていて、数式や言葉だけではイメージが湧きにくいですよね。
AIの学習において、過学習は切っても切り離せない超重要テーマです。
そこで今回は、過学習の仕組みを「直観編」と「理論編」の2つのステップで、どこよりも分かりやすく図解します！
この記事を読めば、過学習の正体と、なぜ「正則化」が必要なのかがスッキリ理解できるようになりますよ。
1. 【直観編】過学習を一言でいうと？
過学習を一言でいうと、「過去問だけには100点だけど、本番の試験（未来）で0点を取る現象」です。
まずは、イメージから掴んでいきましょう。
- 理想（バランス型）： データの細かい雑音（ノイズ）をほどよく無視して、大まかなトレンドを学習しています。そのため、初めて見る未来のデータもガッチリ予測できます。
- 失敗（ガリ勉型）： 過去のデータ「すべての点」に無理やり合わせようとしすぎています。例外やゴミデータまで完璧に丸暗記してしまった結果、少しでも傾向の違う未来のデータが来ると大ハズレしてしまいます。
未来の予測を当てるためには、データに「合わせすぎる」のはNG。
適度な「いい加減さ」を残しておくことこそが、実戦で使えるAIに必要な要素なのです。
2. 【理論編】数式の裏側で起きていること
では、数式やモデルの裏側（理論）では一体何が起きているのでしょうか？
AIが「合わせすぎ」になってしまうのには、明確な原因があります。
こちらの図解を見てください。
過学習の正体は、「使わなくていい部屋（特徴量）にまで、極端に大きな『重み（数値 w）』を割り振ってしまうこと」です。
AIの表現力（パラメータの数）が高すぎると、ゴミデータ（ノイズ）を無理やり説明しようとして、重み w が異常に肥大化してしまいます。
すべての部屋をフル活用して計算してしまうため、数式のグラフの形が激しくウネウネと波打ち、結果として未来の予測が大ハズレしてしまうのです。
3. まとめ：過学習を止めるブレーキが「正則化」
今回は、過学習の仕組みについて解説しました。
重要なポイントをまとめます。
- 過学習とは、過去のデータに合わせすぎて未来の予測が外れる現象
- 原因は、不要な特徴量にまで「大きな重み w」を割り振ってしまうこと
- 未来の予測を当てるには、適度な「いい加減さ」が必要
この無駄に暴走して肥大化した数値（重み w）を、ガツンと抑え込むブレーキの技術こそが「正則化」です。
当ブログでは、過学習を防ぐための正則化アプローチについても図解で詳しく解説しています。ぜひ合わせて読んで、G検定の重要キーワードをマスターしてください！
コメント