ドロップアウト

「ドロップアウトは、学習のたびにノードをランダムに休ませる。休ませると弱くなるのではなく、頼りきりがなくなって強くなる」　4ページ　2026-10-27

過学習の対策に出てくるドロップアウトは、何を落とすのか。落とすのはAIの中の部品であるノードで、学習のたびにランダムに何個か休ませる。休ませると弱くなりそうだが逆で、特定のノードに頼りきれなくなるので強くなる。全員で毎回やると、できる人に任せきりになり、その人が外すと全体が外す。毎回メンバーを変えると全員が覚える。毎回ちがう形のネットワークをたくさん学習させて平均したのと同じ効果。本番（推論）は全員参加で、休ませた割合に合わせて出力を調整する。休ませる割合は人が決め、上げすぎると覚えられなくなって精度が落ちる。ひっかけは「本番は全ノードを使う」「休ませるのはノードでデータではない」「正則化・早期終了・バッチ正規化は別の対策」。全4ページ。