勾配消失問題

「声が4分の1ずつ小さくなる伝言ゲーム」　4ページ　2026-10-13

「層を深くするほど賢くなるんだよね」と参考書を読むみおに、Aiは「ところが昔は深くすると学習が止まりました」。学習は「直せ」の合図を出口から入口へ戻すこと。たとえは10人の伝言ゲーム（人＝層、声＝合図）。1人ごとに声が4分の1になると入口の層は無音、これが勾配消失問題。合図を通す係が活性化関数で、シグモイドは最大0.25倍、ReLUは正なら1倍だから減らない。0以下が続くと止まる弱点はLeaky ReLUで緩和、を4ページで。