過学習（オーバーフィッティング）と対策：正則化・ドロップアウト・転移学習

この節の練習問題（10問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   「訓練データには高い精度で対応できるが、未知の新しいデータに対しては精度が大きく下がる」状態を何と呼ぶか。正しいものを1つ選びなさい。
   1. 1未学習（アンダーフィッティング）
   2. 2正則化（レギュラリゼーション）
   3. 3過学習（オーバーフィッティング）
   4. 4転移学習（トランスファーラーニング）
   答えと解説

   正解: 3

   訓練データの細かな特徴や偶然のノイズまで覚え込んでしまい、新しいデータに対応できなくなる状態を過学習（オーバーフィッティング）と呼びます。転移学習は学習済みモデルを別の課題に流用する手法、強化学習は報酬をもとに学ぶ手法で、どちらも状態の名前ではありません。正則化は過学習を防ぐための対策であり、過学習そのものではありません。

2. 問2
   学習の際にニューラルネットワークの一部のノードをランダムに無効化し、特定のノードへの依存を防いで過学習を抑える手法として正しいものを1つ選びなさい。
   1. 1バッチ正規化
   2. 2スキップ結合
   3. 3早期打ち切り
   4. 4ドロップアウト
   答えと解説

   正解: 4

   ドロップアウトは、学習中に一部のノードをランダムに働かせないようにする手法です。毎回異なるノードの組み合わせで学習するため、特定のノードに頼りきる状態を防ぎ、過学習を抑えられます。バッチ正規化は各層の入力の分布を整えて学習を安定させる手法、スキップ結合は層の入力を出力に足して深いネットワークの学習を可能にする仕組み、早期打ち切りは検証誤差が悪化し始めた時点で学習を止める過学習対策で、いずれもノードを無効化するものではありません。

3. 問3
   過学習を防ぐ手法である「正則化」の説明として、最も適切なものを1つ選びなさい。
   1. 1重みが極端に大きくなることにペナルティを与え、モデルが複雑になりすぎるのを抑える手法
   2. 2入力データの各特徴量を平均0・分散1に変換し、スケールの違いによる学習の偏りを抑える手法
   3. 3学習率を段階的に小さくしていき、損失関数の最小値付近で重みの更新が振動するのを防ぐ手法
   4. 4訓練データを複数に分割して交互に検証に用い、モデルの汎化性能を推定して比較する手法
   答えと解説

   正解: 1

   正則化は、学習時に重みの大きさに応じたペナルティを加えることで、モデルが訓練データに過剰に適合して複雑になりすぎるのを防ぐ手法です。「データを正規の形式に変換する」は正規化（データのスケール調整）との混同です。「規則正しい時刻に実行する」「法律の規制に合わせて修正する」は言葉の印象から作られた誤りで、いずれも機械学習の正則化とは関係ありません。

4. 問4
   転移学習の説明として、最も適切なものを1つ選びなさい。
   1. 1複数の学習済みモデルの出力を平均や多数決で統合し、予測精度を高める手法
   2. 2ある課題で学習済みのモデルを土台にして、別の課題に少ないデータで適応させる手法
   3. 3学習済みモデルを別のサーバーや端末に転送し、推論だけを実行させる手法
   4. 4ある課題の学習データを別の言語に翻訳し、同じ課題を一から学習し直す手法
   答えと解説

   正解: 2

   転移学習は、大量のデータで学習済みのモデル（例: 一般的な画像認識モデル）が獲得した知識を土台にし、別の課題（例: 自社製品の不良品検出）に比較的少ないデータで適応させる手法です。ゼロから学習するより時間もデータも節約できます。「別のサーバーに転送する」はモデルの移動、「別の言語に翻訳して学習し直す」はデータの翻訳で転移学習の定義ではなく、「複数のモデルの出力を平均する」はアンサンブル学習の説明です。

5. 問5
   社内で不良品を画像から検出するAIを開発したところ、学習に使った画像では正答率99%だったが、翌日に撮影した新しい画像では正答率が60%まで落ちた。この状況の原因と対策の組み合わせとして、最も適切なものを1つ選びなさい。
   1. 1モデルは正常なので、新しい画像の撮影をやめて学習画像だけで運用する。
   2. 2ルールベースに切り替え、担当者が不良品の条件をすべて手書きする。
   3. 3過学習が疑われるため、学習画像を増やしたり、正則化やドロップアウトを適用したりする。
   4. 4学習不足が原因なので、同じ学習画像でさらに長時間学習させる。
   答えと解説

   正解: 3

   訓練データでは高精度なのに新しいデータで大きく精度が落ちるのは、過学習の典型的な症状です。対策は、学習データを増やして多様性を持たせる、正則化やドロップアウトで複雑になりすぎるのを抑える、などです。「同じデータでさらに長時間学習させる」は過学習を悪化させます。「新しい画像の撮影をやめる」は実運用の目的を放棄しており、「ルールベースに切り替える」は画像の不良判定をルールで書き切ることが現実的でないため不適切です。

6. 問6
   需要予測モデルが、学習に使った過去データでは誤差がほぼゼロなのに、今月の実績に対しては大きく外れた。原因として最も可能性が高いものを1つ選びなさい。
   1. 1過学習が起きており、過去データの細かな変動やノイズまで覚え込んでいる
   2. 2学習が不足しており、同じ過去データでさらに長く学習させれば解決する
   3. 3モデルが単純すぎて、過去データの傾向すら学習できていない
   4. 4検証データを使ったために、本来の精度より低く評価されているだけである
   答えと解説

   正解: 1

   学習データには極めて高い精度で、未知のデータには精度が大きく下がる症状は過学習の典型です。過去データの細かな変動やノイズまで覚え込んでいる状態で、同じデータでさらに学習させると悪化します。モデルが単純すぎる場合は学習データでも精度が出ないので当てはまりません。検証データで評価すること自体は正しい手順で、精度低下の原因ではありません。

7. 問7
   過学習への対策として、不適切なものを1つ選びなさい。
   1. 1データ拡張で、画像の回転や反転によって学習データを水増しし多様性を持たせる
   2. 2同じ学習データを使って学習の回数をさらに増やし、学習データへの適合度を高める
   3. 3正則化で、重みが極端に大きくなることにペナルティを与えてモデルの複雑さを抑える
   4. 4ドロップアウトで、学習中に一部のノードをランダムに無効化して特定のノードへの依存を防ぐ
   答えと解説

   正解: 2

   正則化、ドロップアウト、データ拡張はいずれも過学習の代表的な対策です。同じ学習データで学習を続けて適合度を高めることは、訓練データのノイズまで覚え込む方向に働き、過学習をむしろ悪化させるため不適切です。

8. 問8
   「正則化」と「正規化」の違いの説明として、最も適切なものを1つ選びなさい。
   1. 1正則化と正規化は同じ処理を指す言葉で、分野によって呼び方が違うだけである
   2. 2正則化は学習済みモデルを別の課題に流用する手法、正規化は学習を途中で止める手法である
   3. 3正則化は重みが大きくなりすぎることを抑えて過学習を防ぐ手法、正規化はデータの範囲をそろえる前処理である
   4. 4正則化はデータの範囲をそろえる前処理、正規化は重みにペナルティを与えて過学習を防ぐ手法である
   答えと解説

   正解: 3

   正則化は重みが極端に大きくなることにペナルティを与えてモデルの複雑さを抑える過学習対策で、正規化はデータの範囲をそろえる前処理です。名前が似ているため試験でも混同を狙った選択肢が出ます。両者を逆にした説明、同じ処理だとする説明は誤りで、別の課題への流用は転移学習、途中で止めるのは早期終了の説明です。

9. 問9
   自社製品の不良品検出AIを作りたいが、不良品の画像は数百枚しかない。最も現実的な方法を1つ選びなさい。
   1. 1数百枚のまま新しいモデルをゼロから学習させ、精度が出るまで同じ画像で学習回数を増やす
   2. 2画像が足りないので機械学習をあきらめ、不良の条件をすべてルールとして書き出す
   3. 3不良品の画像をすべて捨て、正常品の画像だけで学習させて不良品を見分けさせる
   4. 4一般的な画像認識の学習済みモデルを土台にして、自社の画像で追加学習する転移学習を使う
   答えと解説

   正解: 4

   転移学習は、大量のデータで学習済みのモデルが獲得した知識を土台に、別の課題に比較的少ないデータで適応させる手法で、画像が少ない場面に向きます。数百枚でゼロから学習し、同じ画像で回数を増やすのは過学習を招きます。不良の条件をルールで書き尽くすのは現実的でなく、不良品の画像を捨てると見分ける対象を学べません。

10. 問10
    過学習対策の「早期終了」の説明として、最も適切なものを1つ選びなさい。
    1. 1検証データでの精度が下がり始めた時点で学習を止める
    2. 2学習中に一部のノードをランダムに無効化して依存を防ぐ
    3. 3画像の回転や反転で学習データを増やして多様性を持たせる
    4. 4重みが極端に大きくなることにペナルティを与えて抑える
    答えと解説

    正解: 1

    早期終了は、検証データでの精度が下がり始めた時点で学習を止める過学習対策です。ノードのランダムな無効化はドロップアウト、学習データの水増しはデータ拡張、重みへのペナルティは正則化の説明です。