モデルの選択・評価（混同行列、適合率と再現率、交差検証、過学習、AIC）

この節の練習問題（12問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   2クラス分類の混同行列において、「陽性と予測したもののうち実際に陽性だった割合」と「実際に陽性のもののうち陽性と予測できた割合」の名称の組み合わせとして正しいものを選びなさい。
   1. 1前者: 適合率（precision）、後者: 再現率（recall）
   2. 2前者: 再現率（recall）、後者: 適合率（precision）
   3. 3前者: 正解率（accuracy）、後者: F値
   4. 4前者: 特異度、後者: 正解率
   答えと解説

   正解: 1

   適合率は TP ÷ (TP + FP) で、陽性と予測した中の正しさを表します。再現率は TP ÷ (TP + FN) で、実際の陽性をどれだけ拾えたかを表します。両者はトレードオフの関係にあり、その調和平均がF値です。正解率は全予測のうち正しかった割合 (TP + TN) ÷ 全体で、クラスの偏りが大きいデータでは高くても意味が薄いことがあります。

2. 問2
   がんの検診で「がんの人を見逃さないこと」を最優先にモデルを評価したい。この目的に最も適した評価指標を選びなさい。
   1. 1平均二乗誤差（MSE）
   2. 2再現率（recall）
   3. 3適合率（precision）
   4. 4正解率（accuracy）
   答えと解説

   正解: 2

   見逃し（実際は陽性なのに陰性と予測する偽陰性）を減らしたい場合は、実際の陽性のうち正しく陽性と予測できた割合である再現率を重視します。適合率は誤検出（偽陽性）を減らしたいときの指標、正解率は陽性が少ないデータでは「全員陰性」と予測しても高くなるため不適切です。平均二乗誤差は回帰問題の指標です。

3. 問3
   データをk個に分割し、そのうち1個を検証用、残りを訓練用として学習・評価する処理をk回繰り返して平均する検証方法を（　）という。括弧に入る語として最も適切なものを選びなさい。
   1. 1ブートストラップサンプリング
   2. 2グリッドサーチ
   3. 3k-分割交差検証
   4. 4ホールドアウト検証
   答えと解説

   正解: 3

   k-分割交差検証は、データが少ないときでも全データを検証に使えるため、汎化性能の推定が安定します。ホールドアウト検証はデータを訓練用と検証用に1回だけ分ける単純な方法で、分け方によって評価がぶれやすい弱点があります。ブートストラップサンプリングは復元抽出、グリッドサーチはハイパーパラメータの探索方法です。

4. 問4
   モデルの選択・評価に関する用語の説明として、誤っているものを選びなさい。
   1. 1ROC曲線は閾値を変えながら偽陽性率と真陽性率をプロットした曲線で、その下の面積AUCが1に近いほど分類性能が高い
   2. 2AICは、モデルの当てはまりの良さとパラメータ数のバランスで評価する情報量規準で、値が小さいほど良いモデルとされる
   3. 3オッカムの剃刀は、同じ現象を説明できるなら仮定の少ない単純なモデルを選ぶべきだという考え方である
   4. 4過学習は訓練データへの当てはまりが悪く、訓練誤差も汎化誤差も大きい状態を指す
   答えと解説

   正解: 4

   過学習は、モデルが訓練データに過剰に適合して訓練誤差は小さいのに、未知のデータに対する汎化誤差が大きくなる状態です。訓練誤差も汎化誤差も大きいのは学習不足（未学習）です。ROC曲線とAUC、AIC、オッカムの剃刀に関する記述はいずれも正しい内容です。

5. 問5
   回帰モデルの評価指標に関する記述として、最も適切なものを選びなさい。
   1. 1平均二乗誤差（MSE）は誤差の二乗の平均で、その平方根を取った二乗平均平方根誤差（RMSE）は目的変数と同じ単位になるため解釈しやすい
   2. 2二乗平均平方根誤差（RMSE）は分類問題の評価指標で、正解率と同じ意味を持ち、値が大きいほど回帰モデルの予測精度が高いことを示す
   3. 3平均絶対値誤差（MAE）は誤差の二乗の平均で、その平方根を取った二乗平均平方根誤差（RMSE）は目的変数の二乗の単位になるため解釈しにくい
   4. 4平均二乗誤差（MSE）は誤差の絶対値の平均で外れ値の影響を受けにくく、平均絶対値誤差（MAE）は誤差を二乗して平均するため外れ値の影響を強く受ける
   答えと解説

   正解: 1

   MSEは誤差を二乗して平均した値で、外れ値の影響を受けやすく、単位は目的変数の二乗になります。その平方根を取ったRMSEは元の単位に戻るため解釈しやすい指標です。MAEは誤差の絶対値の平均で、外れ値の影響はMSEより小さくなります。いずれも小さいほど精度が高く、分類問題の指標ではありません。

6. 問6
   訓練データに対する誤差は小さいのに、未知のデータに対する誤差が大きくなる現象と、その代表的な対策の組み合わせとして最も適切なものを選びなさい。
   1. 1データリーケージ：学習率を大きくする、エポック数を増やす
   2. 2過学習：訓練データを増やす、正則化を加える、モデルを単純にする
   3. 3過学習：訓練データを減らす、モデルをより複雑にする、学習を長く続ける
   4. 4未学習：訓練データを減らす、正則化を強くする
   答えと解説

   正解: 2

   訓練誤差は小さいのに汎化誤差が大きい状態は過学習で、モデルが訓練データの細かな特徴やノイズまで覚えてしまった状態です。対策はデータを増やす、正則化やドロップアウトを加える、モデルの複雑さを下げる、早期終了などです。データを減らしたりモデルを複雑にしたりするのは逆効果で、未学習は訓練誤差自体が大きい状態を指します。

7. 問7
   手元に500件しかない貴重なデータで機械学習モデルの汎化性能を推定したい。データが少ないため、一部を検証用に固定すると評価が不安定になることが懸念される。この状況に最も適した検証方法を選びなさい。
   1. 1すべてのデータを訓練に使い、訓練データに対する正解率をそのまま汎化性能とみなす
   2. 2データを訓練用と検証用に一度だけ分けるホールドアウト検証を行い、検証用の50件で評価する
   3. 3データをk個に分割し、検証用の分割を入れ替えながらk回学習・評価して平均するk-分割交差検証を行う
   4. 4検証は行わず、モデルの複雑さが最も高いものを選ぶ
   答えと解説

   正解: 3

   k-分割交差検証はすべてのデータを訓練にも検証にも使えるため、データが少ないときでも安定した汎化性能の推定ができます。訓練データの正解率は過学習を見抜けず、ホールドアウト検証は分け方によって評価が大きく変わります。検証を行わずに複雑なモデルを選ぶのは過学習の危険があります。

8. 問8
   モデル選択の指標である赤池情報量規準（AIC）とベイズ情報量規準（BIC）に共通する考え方として、最も適切なものを選びなさい。
   1. 1訓練データに対する正解率と検証データに対する正解率の差を評価し、その差が最も小さいモデルを説明力に関わらず選ぶ
   2. 2データへの当てはまりの良さに、パラメータ数に応じた加点を与えて評価し、同程度の説明力なら表現力の高い複雑なモデルを選ぶ
   3. 3データへの当てはまりの良さだけを尤度で評価し、パラメータ数は考慮せず、尤度が最大になるモデルを選ぶ
   4. 4データへの当てはまりの良さに、パラメータ数に応じたペナルティを加えて評価し、同程度の説明力なら単純なモデルを選ぶ
   答えと解説

   正解: 4

   AICとBICはいずれも、当てはまりの良さ（対数尤度）にパラメータ数に応じた罰則項を加え、値が小さいモデルを選びます。これは「同じ説明力なら単純な仮説を選ぶ」というオッカムの剃刀の考え方の定量化です。BICはAICよりデータ数に応じた罰則が強く、より単純なモデルを選びやすい傾向があります。当てはまりだけを見る、複雑なほど良いという考え方とは逆です。

9. 問9
   迷惑メールの判定モデルで、正常なメールを迷惑メールと誤って判定してしまう誤検知をできるだけ減らしたい。重視すべき評価指標として最も適切なものを選びなさい。
   1. 1再現率
   2. 2正解率
   3. 3平均絶対誤差（MAE）
   4. 4適合率
   答えと解説

   正解: 4

   適合率は陽性と予測したもののうち本当に陽性だった割合で、誤検知（偽陽性）を減らしたいときに重視します。再現率は見逃しを減らしたいときの指標です。正解率はクラスの偏りが大きいと役に立たず、MAEは回帰の指標なので分類の評価には使いません。

10. 問10
    過去3年分の日次売上データで、翌月の需要を予測するモデルを評価したい。検証データの作り方として最も適切なものを選びなさい。
    1. 1古い期間で学習し、それより新しい期間で検証する
    2. 2全期間からランダムに抜き出した日を検証に使う
    3. 3新しい期間で学習し、古い期間で検証する
    4. 4全データで学習し、同じデータで検証する
    答えと解説

    正解: 1

    時系列データをランダムに分けると、学習に未来の情報が混ざるデータリーケージが起きるため、時間順に分割して過去で学習し未来で検証します。新しい期間で学習して古い期間を検証するのも未来の情報を使うことになり不適切です。学習と同じデータで検証すると汎化性能を測れません。

11. 問11
    不良品が全体の1%しかない検査データで、すべてを良品と予測するモデルの正解率が99%になった。このモデルの評価として最も適切なものを選びなさい。
    1. 1正解率が99%なので、実用上十分な性能である
    2. 2適合率と再現率も、ともに99%になっている
    3. 3正解率が高いので、過学習は起きていない
    4. 4正解率は高いが、不良品を1件も検出できていない
    答えと解説

    正解: 4

    不良品を陽性とすると、すべてを良品と予測するモデルは不良品を1件も見つけられず、再現率は0になります。正解率はクラスの偏りが大きいと高く出てしまい、性能を正しく表しません。再現率が0なので適合率と再現率がともに99%という記述は誤りで、正解率の高さだけで実用性や過学習の有無は判断できません。

12. 問12
    分類モデルの評価に用いるROC曲線の横軸と縦軸の組み合わせとして、最も適切なものを選びなさい。
    1. 1横軸：真陽性率、縦軸：偽陽性率
    2. 2横軸：適合率、縦軸：再現率
    3. 3横軸：偽陽性率、縦軸：真陽性率
    4. 4横軸：閾値、縦軸：正解率
    答えと解説

    正解: 3

    ROC曲線は分類の閾値を変えながら、偽陽性率を横軸、真陽性率を縦軸にとって描いた曲線で、その下の面積AUCが1に近いほど良いモデルです。軸を入れ替えたものはROC曲線ではなく、適合率と再現率や、閾値と正解率の組み合わせも別の指標の関係です。