試験は一度きり。でも準備の仕方が大切
新しい料理を考案したとき、「このレシピ、本番で通用するかな？」と不安になることはありませんか。そこで、手元の材料の8割で練習を作り、残りの2割だけを使って「本番リハーサル」を一度だけ行います。このリハーサルで味がいければ、きっと本番も大丈夫——ホールドアウト法は、まさにこの「一度きりの本番リハーサルで実力を測る」発想を、機械学習のモデル評価に応用した方法です。
データを「練習用」と「テスト用」に割って、一度だけ試す
ホールドアウト法（Holdout Method）の手順はシンプルです。まず手元のデータセットを、たとえば8:2や9:1の比率で「学習データ」と「テストデータ」に分割します。モデルは学習データだけで訓練され、訓練が終わった後に初めてテストデータを使って正答率や精度を測る。このテストデータは訓練中に一度もモデルに見せていないため、「見たことのない問題」にどう答えるかが如実に表れます。クロスバリュエーションのようにデータを使い回す回数がなく、一瞬で結果がでる反面、分割の仕方で評価結果が揺らぎやすいという特徴もあります。
📚 さらに理解を深めたい方には、G検定の公式テキストがお薦めです！
リンク
一言🐾
💡 一発勝負の学習法です。データが大量で、かつ品質も十分に確保できている場合であれば、この方法が最もシンプルで効果的です。
おまけ：画像生成AIに説明させてみた
※ここからは検証コンテンツです。
画像内の説明には誤りが含まれる可能性があるため、本文の解説とは分けています。
左が検証データで多めに使っている様子。右がテストデータで少なめに保存している様子。確かにホールドアウト法になっていますね。ただ用語のこと知らないとわからないと思ったので、
評価：★★☆☆☆
コメント