データの収集・加工・分析・学習（アノテーション、オープンデータセット、コーパス、データリーケージ）

この節の練習問題（11問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   機械学習の評価において、本来は予測時点で得られないはずの情報（正解に直結する情報や未来の情報）が訓練データに混入し、検証時の精度が実際より高く出てしまう問題を（　）という。括弧に入る語として最も適切なものを選びなさい。
   1. 1コールドスタート問題
   2. 2データリーケージ
   3. 3過学習
   4. 4次元の呪い
   答えと解説

   正解: 2

   データリーケージ（情報漏えい）は、例えば時系列データをランダムに分割して未来のデータで学習してしまったり、正解ラベルから派生した特徴量を含めてしまったりすることで起こります。検証では高精度でも本番では再現しないため、データの分割方法と特徴量の作り方に注意が必要です。過学習は訓練データへの過剰適合、次元の呪いは高次元での学習の困難さ、コールドスタート問題は推薦システムで履歴がない問題を指します。

2. 問2
   AIの学習データに関する用語の説明として、最も適切なものを選びなさい。
   1. 1アノテーションは学習済みモデルが自動で付与する擬似ラベルのことで人手や基準の設計は不要とされ、オープンデータセットはImageNetのように公開されているため利用条件を確認せずに商用利用でき、コーパスは音声認識で用いる音声波形の集合である
   2. 2アノテーションは画像や文章から特徴量を自動抽出する前処理、オープンデータセットはCOCOのように有償ライセンスで提供される高品質なデータ、コーパスは形態素解析に用いる日本語の辞書ファイルである
   3. 3アノテーションは画像や文章に正解ラベルや領域などの情報を付与する作業、オープンデータセットはImageNetのように公開されて誰でも利用できるデータセット、コーパスは自然言語処理で用いる大規模なテキストデータの集合である
   4. 4アノテーションはモデルのパラメータを量子化して圧縮する処理、オープンデータセットはWikipediaのように社内で構築して社外秘とするデータ、コーパスは画像認識で用いる大規模な画像とラベルの集合である
   答えと解説

   正解: 3

   教師あり学習にはラベル付きデータが必要で、その付与作業がアノテーションです。品質を保つには作業基準の明確化と複数人での確認が重要で、コストの大きな部分を占めます。オープンデータセットは研究や開発を加速しますが、ライセンスによって商用利用や再配布の条件が異なるため確認が必要です。コーパスは言語モデルの学習や評価に使うテキストの集合です。

3. 問3
   複数の企業がデータを持ち寄って共同でAIを開発する際の留意点として、最も適切なものを選びなさい。
   1. 1データは相手企業に提供した時点で提供先が自由に利用できるようになるため、利用範囲の取り決めは不要であり、成果物である学習済みモデルの権利は法律上自動的にデータ提供者に帰属する
   2. 2個人情報が含まれるデータでも、共同開発のための提供は第三者提供に当たらないため本人の同意や匿名加工は不要であり、契約では学習済みモデルの権利の帰属だけを定めておけばよい
   3. 3データの品質や偏りは学習を実施した結果から判断できるため収集時の確認は不要であり、営業秘密の取り扱いは不正競争防止法で自動的に保護されるため、契約で定める必要はない
   4. 4データの利用範囲、成果物である学習済みモデルや派生データの権利の帰属、個人情報や営業秘密の取り扱いを事前に契約で取り決め、データの偏りや品質も確認したうえで進める
   答えと解説

   正解: 4

   データを共有して共同開発する場合、提供したデータを何に使ってよいか、生成されたモデルや加工データは誰のものか、個人情報保護法や不正競争防止法上の義務をどう守るかを、経済産業省の「AI・データの利用に関する契約ガイドライン」などを参考に契約で明確にしておく必要があります。また、各社のデータの偏りやラベルの基準の違いは学習結果に直結するため、収集段階で品質を確認します。個人情報は共同利用でも法律上の手続きが必要です。

4. 問4
   店舗の日次売上を予測するモデルを作る際、3年分のデータをランダムにシャッフルして訓練用と検証用に分けたところ、検証精度は非常に高かったが、本番で運用すると精度が大きく下がった。原因として最も適切なものを選びなさい。
   1. 1ランダムに分割したことで、検証データの前後の日のデータが訓練に含まれ、未来の情報が漏れて評価が甘くなっていた。時系列では過去のデータで学習し、その後の期間で検証すべきだった
   2. 23年分のデータでは季節変動や曜日の周期が多く含まれすぎて過学習したため、検証精度が高く見えていた。直近1か月のデータだけを訓練に用い、周期性の影響を取り除いて学習すべきだった
   3. 3検証精度が高かったのはモデルの汎化性能が十分であることを示しており、本番の精度低下は店舗側の売上入力の誤りが原因である。データ分割の方法は適切で、入力の検証ルールを整備すべきだった
   4. 4ランダムに分割したことで訓練データと検証データの分布が同じになり、分布の異なる本番データに対応できなかった。時系列では本番と同じ分布になるよう訓練データを再抽出すべきだった
   答えと解説

   正解: 1

   時系列データをランダムに分割すると、検証したい日の直前・直後のデータが訓練に含まれ、実際の運用では得られない未来の情報を使って学習したのと同じ状態になります。これはデータリーケージの典型例で、検証精度が実力より高く出ます。時系列では時間順に分割し、過去で学習して未来で検証する必要があります。

5. 問5
   画像のアノテーションを複数の作業者に依頼したところ、同じような画像に対して作業者ごとに異なるラベルが付けられていた。この問題への対応として最も適切なものを選びなさい。
   1. 1最も作業速度が速く経験の長い作業者のラベルを正解として採用し、他の作業者のラベルはそれと一致するように機械的に置き換えてから学習に使う
   2. 2判断に迷う事例を含めた明確なアノテーションのガイドラインを作り、複数人で同じデータにラベルを付けて一致率を確認し、不一致の基準をそろえる
   3. 3作業者ごとの判断の違いはノイズとしてモデルが学習中に自動で吸収するため、ラベルはそのまま使い、データの量を増やすことで不一致の影響を薄める
   4. 4ラベルが一致しなかった画像は判断が難しい事例なので学習の妨げになると考え、そうしたデータを除外し、判断が容易な画像だけで学習を行う
   答えと解説

   正解: 2

   アノテーションの品質はモデルの精度の上限を決めます。基準の曖昧さによる不一致は、具体的な判断例を含むガイドラインの整備と、複数人のラベルの一致率（アノテーター間一致度）の確認によって減らします。不一致をそのまま学習すればノイズになり、迷う事例を削除すれば本番で重要な境界事例に弱くなり、速さでラベルを選ぶのは品質の根拠になりません。

6. 問6
   公開されているオープンデータセットを商用のAI開発に利用する際の留意点として、最も適切なものを選びなさい。
   1. 1オープンデータセットは研究目的に限って公開されているため、ライセンスの種類にかかわらず商用のAI開発には利用できず、学術機関に限って使える
   2. 2データセットは公開された時点で著作権や個人情報の保護を失うため、ライセンスを確認せずに商用利用や再配布、改変を自由に行ってよい
   3. 3データセットごとに定められたライセンスや利用規約を確認し、商用利用や再配布、改変が許可されているか、出典表示などの条件があるかを守る
   4. 4データセットのライセンスは提供元の国の法律だけに従うため、日本国内で利用する限りは商用利用や再配布、出典表示の条件を守る必要はない
   答えと解説

   正解: 3

   オープンデータセットには研究目的限定のものや、クリエイティブ・コモンズなどのライセンスで商用利用や再配布の条件が定められたものがあります。またデータに含まれる顔や個人情報については、公開されていても個人情報保護法などの配慮が必要です。条件はデータセットごとに異なるため、個別に確認することが必要です。

7. 問7
   AIの学習データを収集する際に「データの偏り」が問題になる理由として、最も適切なものを選びなさい。
   1. 1学習データに含まれる状況や属性が本番で遭遇するものと異なると、モデルの重みが更新されずに学習自体が途中で停止し、モデルが完成しなくなるため
   2. 2偏ったデータは同じような内容が繰り返し含まれるためファイルサイズが大きくなり、学習に必要な計算資源や保存容量が不足して学習が実行できなくなるため
   3. 3特定の属性に偏った学習データの利用は個人情報保護法で明示的に禁止されており、偏りのあるデータで学習したモデルを運用すると罰則の対象になるため
   4. 4学習データに含まれる状況や属性が本番で遭遇するものと異なると、学習で見ていない状況で精度が落ちたり、特定の属性に不利な判断をしたりするため
   答えと解説

   正解: 4

   機械学習モデルは学習データの分布を前提に判断するため、例えば昼間の画像だけで学習した検査AIは夜間の画像で精度が落ち、特定の性別や人種のデータが少ない顔認識は、その属性で誤りが増えます。収集段階で本番環境を代表するデータを集め、偏りを確認することが公平性と精度の両面で重要です。

8. 問8
   学習データの収集に関する記述として、誤っているものを選びなさい。
   1. 1オープンデータセットは、商用利用や再配布の可否をライセンスで確認する
   2. 2本番環境を代表するデータを集め、特定の属性に偏りがないかを確認する
   3. 3Web上で公開済みのデータは、含まれる個人情報に配慮せず自由に使える
   4. 4取得前に、個人情報保護法や著作権法、データの利用規約を確認する
   答えと解説

   正解: 3

   公開されているデータがすべて自由に使えるわけではなく、含まれる個人情報には公開後も配慮が必要です。オープンデータセットのライセンス確認、本番を代表するデータの収集と偏りの確認、法律や利用規約の確認は、いずれも学習データを集める際の適切な注意点です。

9. 問9
   顧客の解約を予測するモデルで、特徴量に「解約手続きの受付日」を含めたところ、検証精度がほぼ100%になった。最も考えられる原因を選びなさい。
   1. 1解約者の割合が少ないことで生じたサンプリングバイアス
   2. 2新しいデータを追加で学習したことによる破滅的忘却
   3. 3検証データを時系列順に分けたことによる精度の過小評価
   4. 4正解ラベルから派生した情報が混入したデータリーケージ
   答えと解説

   正解: 4

   解約手続きの受付日は解約した顧客にしか存在せず、予測時点では得られない正解に直結する情報です。このような情報が特徴量に混入して検証精度が実際より高く出る問題がデータリーケージです。サンプリングバイアスや破滅的忘却は精度が不自然に高くなる原因ではなく、時系列順の分割はむしろリーケージを防ぐための正しい分け方です。

10. 問10
    24時間稼働する工場の監視カメラで異常を検知するモデルを、日中に撮影した画像だけで学習させたところ、夜間の精度が大きく低下した。対応として最も適切なものを選びなさい。
    1. 1夜間を含め、本番環境を代表する画像を集めて学習し直す
    2. 2日中の画像の枚数をさらに増やし、学習を長く続ける
    3. 3夜間は精度が低いため、検証データから夜間の画像を除く
    4. 4モデルを量子化して、夜間の推論を高速にする
    答えと解説

    正解: 1

    学習データに含まれる状況が本番と異なると、学習で見ていない状況で精度が落ちるため、本番環境を代表するデータを集めて偏りを確認することが重要です。日中の画像を増やしても、夜間という見ていない状況は補えません。検証データから夜間を除くと問題が見えなくなるだけで、量子化は推論を軽くする手法であり精度低下の対策になりません。

11. 問11
    アノテーションに関する記述として、誤っているものを選びなさい。
    1. 1画像や文章に、正解ラベルや領域などの情報を付与する作業である
    2. 2判断に迷う事例を含むガイドラインを整備し、ラベルのぶれを抑える
    3. 3複数人で同じデータにラベルを付け、一致率を確認する
    4. 4品質は精度に影響しないため、作業の速さを最優先にする
    答えと解説

    正解: 4

    アノテーションの品質はモデルの精度の上限を決めるため、速さだけを優先するのは誤りです。アノテーションは正解ラベルや領域などの情報を付与する作業で、ぶれを抑えるには判断に迷う事例を含むガイドラインの整備や、複数人での一致率の確認が有効です。コストが大きい場合は、自己教師あり学習や半教師あり学習で軽減する方法も検討されます。