モデルの解釈性（説明可能AI、CAM・Grad-CAM、LIME、SHAP、Permutation Importance）

この節の練習問題（5問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   モデルの解釈性を高める手法に関する記述として、最も適切なものを選びなさい。
   1. 1Grad-CAMはCNNが画像のどの領域に注目して判断したかをヒートマップで可視化する手法、LIMEは個々の予測の近傍を単純なモデルで近似して説明する手法、SHAPはゲーム理論のシャープレイ値に基づいて各特徴量の寄与を算出する手法である
   2. 2Grad-CAMは決定木の分岐条件を可視化する手法、LIMEは特徴量の値を並べ替えたときの精度低下から重要度を測る手法、SHAPは注意機構の重みを可視化して文章のどの単語が予測に寄与したかを示す手法で、いずれもCNN以外のモデル専用である
   3. 3Grad-CAMは画像生成モデルの潜在空間を可視化する手法、LIMEは学習データのうち予測に最も影響した事例を特定する手法、SHAPは複数のモデルの予測を平均して不確実性を推定する手法で、いずれも予測の根拠ではなく信頼度を示す
   4. 4Grad-CAMは個々の予測の近傍を単純なモデルで近似して説明する手法、LIMEはゲーム理論のシャープレイ値に基づいて各特徴量の寄与を算出する手法、SHAPはCNNが画像のどの領域に注目して判断したかをヒートマップで可視化する手法である
   答えと解説

   正解: 1

   ディープラーニングはブラックボックスになりやすく、医療や金融など判断の根拠が求められる分野では説明可能AI（XAI）の技術が重要です。CAMとGrad-CAMは畳み込み層の特徴マップと勾配から画像中の注目領域を可視化します。LIMEは説明したい予測の周辺でモデルを線形モデルなどで局所的に近似し、SHAPは各特徴量の貢献度をシャープレイ値として公平に配分します。3つの手法の説明を入れ替えたものは誤りです。特徴量の値を並べ替えて精度低下を測るのはPermutation Importance、注意機構の重みの可視化や決定木の分岐の可視化はこれらの手法とは別のもので、LIMEとSHAPはCNN以外のモデルにも使えます。

2. 問2
   LIMEとSHAPの共通点と違いの説明として、最も適切なものを選びなさい。
   1. 1どちらもモデル全体の傾向を説明する大域的な手法で、LIMEは特徴量の値をシャッフルしたときの精度の低下から重要度を測り、SHAPは決定木の分岐で使われた回数から各特徴量の重要度を数える
   2. 2どちらもモデルの種類を問わず個々の予測の根拠を説明できる手法で、LIMEは予測の周辺を単純なモデルで局所的に近似し、SHAPはゲーム理論のシャープレイ値に基づいて各特徴量の寄与を一貫した基準で配分する
   3. 3どちらもモデルの種類を問わず個々の予測の根拠を説明できる手法で、LIMEはゲーム理論のシャープレイ値に基づいて各特徴量の寄与を一貫した基準で配分し、SHAPは予測の周辺を単純なモデルで局所的に近似する
   4. 4どちらも畳み込みニューラルネットワーク専用の手法で、LIMEは最後の畳み込み層の勾配を使って画像中の注目領域をヒートマップで可視化し、SHAPは大きなモデルの出力を小さなモデルに蒸留して構造を単純化する
   答えと解説

   正解: 2

   LIMEは説明したい予測の近傍でサンプルを生成し、線形モデルなどで局所的に近似して特徴量の影響を示します。SHAPは協力ゲーム理論のシャープレイ値を用い、各特徴量の寄与を公平に配分する理論的な裏付けを持ちます。どちらもモデル非依存で、画像・テキスト・表形式データに使えます。両者の仕組みを入れ替えた説明は誤りで、どちらも個々の予測を説明する局所的な手法です。特徴量のシャッフルによる重要度はPermutation Importance、畳み込み層の勾配による注目領域の可視化はGrad-CAM、大きなモデルを小さなモデルに写すのは蒸留で、LIMEやSHAPではありません。

3. 問3
   医用画像からがんの有無を判定するCNNについて、医師から「画像のどこを見て判定したのか示してほしい」と求められた。この要望に最も適した手法を選びなさい。
   1. 1学習率を下げて再学習し、検証データでの正解率を高めて信頼性を示す
   2. 2データ拡張を追加して訓練データを増やし、判定の再現率を高める
   3. 3Grad-CAMで、判定に寄与した画像領域をヒートマップとして可視化する
   4. 4モデルを蒸留して軽量化し、判定にかかる推論時間を短縮する
   答えと解説

   正解: 3

   Grad-CAMは最後の畳み込み層の特徴マップと、クラスに対する勾配を用いて、予測に強く影響した領域をヒートマップで示す手法で、CNNの判断根拠を人が確認するのに使われます。医療のように説明責任が重い分野で特に重要です。蒸留、学習率の調整、データ拡張は精度や速度に関わる手法で、根拠の提示にはなりません。

4. 問4
   学習済みの解約予測モデルで、ある特徴量の値だけをデータ間でシャッフルし、精度がどれだけ下がるかでその特徴量の重要度を測る手法として、最も適切なものを選びなさい。
   1. 1Permutation Importance
   2. 2Class Activation Mapping
   3. 3Grad-CAM
   4. 4SHAP
   答えと解説

   正解: 1

   Permutation Importanceは、特徴量の値をシャッフルして予測との関係を断ち切ったときの精度の低下量で重要度を測る手法で、低下が大きいほど重要な特徴量と判断します。CAMとGrad-CAMはCNNが画像のどの領域に注目したかをヒートマップで示す手法です。SHAPはシャープレイ値に基づいて各特徴量の寄与を配分する手法で、シャッフルによる精度低下を測るものではありません。

5. 問5
   モデルの解釈性に関する記述として、誤っているものを選びなさい。
   1. 1与信審査や採用のように生活に大きく影響する場面では、判断根拠の説明が求められる
   2. 2CAMは、グローバルアベレージプーリングを持たないCNNにもそのまま適用できる
   3. 3LIMEは、説明したい予測の近傍でサンプルを生成し、局所的に線形モデルなどで近似する
   4. 4LIMEとSHAPは、モデルの種類を問わず表形式データやテキストにも使える
   答えと解説

   正解: 2

   CAMはグローバルアベレージプーリング（GAP）を持つCNNを前提とした手法で、GAPのないモデルにも適用できるようにしたのがGrad-CAMです。人の生活に大きく影響する判断で根拠の説明が求められること、LIMEが予測の近傍で局所的に近似すること、LIMEとSHAPがモデル非依存であることは、いずれも正しい記述です。