AI試験ドットコム AI資格の無料問題集
G検定 › Web参考書 › 第10章

安全性とセキュリティ（Adversarial Examples、データ汚染、モデル汚染、データ窃取、モデル窃取、セキュリティ・バイ・デザイン）

第10章 AI倫理・AIガバナンス　／　節 4

シラバスのキーワード: Adversarial Attack (Adversarial Examples)データ汚染モデル汚染データ窃取モデル窃取セキュリティ・バイ・デザイン

本文を読んだあと、覚えているか確認してください。

安全性

自動運転車の事故や医療診断の誤りのように、AIの誤動作が人の生命や財産に影響する場合、精度だけでなく想定外の入力への挙動、フェイルセーフ（異常時に安全側に倒す設計）、人間による監視や介入の仕組みが必要です。精度は100%にならない前提で、誤りが起きたときの影響を最小化する設計が求められます。

AI特有の攻撃

攻撃 段階 内容
Adversarial Examples（敵対的サンプル） 推論 入力に人間には気づかない摂動を加えて誤認識させる。標識にシールを貼って別の標識と認識させる例
データ汚染（ポイズニング） 学習 学習データに悪意のあるデータを混入させ、特定の入力で誤動作するバックドアを仕込む
モデル汚染 学習・配布 配布されるモデルや学習用ライブラリを改ざんする
データ窃取 推論 モデルの応答から学習データに含まれた個人情報などを復元する
モデル窃取 推論 APIへの多数の問い合わせと応答から、モデルの機能を複製する

対応策

セキュリティ・バイ・デザインは、企画・設計段階からセキュリティを組み込む考え方です。具体的には、敵対的サンプルを学習に含める敵対的学習、学習データの出所の管理と検証、モデルへのアクセス制御と問い合わせ回数の制限、出力の監視、差分プライバシーなどの手法があります。

試験で問われる観点

この節の練習問題（3問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    AIに特有のセキュリティ上の攻撃に関する記述として、最も適切なものを選びなさい。
    1. 1Adversarial Examplesは学習データに細工したデータを混入させてモデルの挙動を操作する攻撃、データ汚染は入力に人間には分からない微小なノイズを加えてモデルに誤認識させる攻撃、モデル窃取は入出力を繰り返し観測してモデルを複製する攻撃である
    2. 2Adversarial Examplesは入力に人間には分からない微小なノイズを加えてモデルに誤認識させる攻撃、データ汚染は学習データに細工したデータを混入させてモデルの挙動を操作する攻撃、モデル窃取は入出力を繰り返し観測してモデルを複製する攻撃である
    3. 3Adversarial Examplesは入出力を繰り返し観測してモデルを複製する攻撃、データ汚染は学習データに細工したデータを混入させてモデルの挙動を操作する攻撃、モデル窃取は入力に人間には分からない微小なノイズを加えてモデルに誤認識させる攻撃である
    4. 4Adversarial Examplesは入力に微小なノイズを加えてモデルの頑健性を高めるための正当な学習手法、データ汚染は推論時の入力に不正な指示を紛れ込ませてモデルの出力を操作する攻撃、モデル窃取は学習済みモデルのファイルをサーバーから直接持ち出す攻撃である
    答えと解説

    正解: 2

    AIにはソフトウェア一般の脆弱性に加えて固有の脅威があります。Adversarial Examples（敵対的サンプル）は、標識に貼ったステッカーで自動運転車に誤認識させる例のように、わずかな摂動で判断を狂わせます。データ汚染（ポイズニング）は学習段階でバックドアを仕込む攻撃、モデル窃取・データ窃取はAPI経由でモデルの複製や学習データの推定を狙う攻撃です。これらに備え、設計段階から対策を組み込むセキュリティ・バイ・デザインが求められます。

  2. 問2
    自動運転や医療診断のように人の生命に関わるAIシステムの安全性に関する考え方として、最も適切なものを選びなさい。
    1. 1AIの安全性はリリース前のテストで網羅的に検証すべきもので、テストに合格したシステムについては運用後の監視や再検証を行わなくても安全性は保証される
    2. 2AIの誤判断への備えは利用者の運用ルールとして整備すべきもので、開発者はモデルの精度向上に専念し、監視や介入の仕組みはシステムには組み込まない
    3. 3AIの誤判断や想定外の入力が起こりうることを前提に、人間による監視や介入、フェイルセーフの仕組み、リリース前後の継続的な検証をシステム全体で設計する
    4. 4AIの誤判断は学習データの不足が原因であるため、十分なデータで精度を最大化すればよく、人間の監視やフェイルセーフはコスト増となるので設計から除外する
    答えと解説

    正解: 3

    AIは統計的に学習したモデルであり、学習データにない状況や敵対的な入力に対して誤った出力をする可能性をゼロにはできません。生命・身体に関わる用途では、人間が最終判断や介入をできる設計（ヒューマン・イン・ザ・ループ）、異常時に安全側に倒れる仕組み、運用中のモニタリングを組み合わせることが安全性の基本で、AI事業者ガイドラインも開発者・提供者・利用者それぞれの役割を求めています。

  3. 問3
    AIに対する攻撃のうち、「学習データに悪意のあるデータを混入させて、モデルの挙動を意図的にゆがめる」ものと、「学習済みモデルへの入力に人間には気づかない摂動を加えて誤認識させる」ものの名称の組み合わせとして正しいものを選びなさい。
    1. 1プロンプトインジェクション、モデルインバージョン（モデル反転攻撃）
    2. 2データ汚染（ポイズニング）、Adversarial Examples（敵対的サンプル）
    3. 3モデル窃取（モデル抽出攻撃）、データ窃取（メンバーシップ推論攻撃）
    4. 4Adversarial Examples（敵対的サンプル）、データ汚染（ポイズニング）
    答えと解説

    正解: 2

    データ汚染は学習段階への攻撃で、不正なデータで学習させてバックドアを仕込むなどします。Adversarial Examplesは推論段階への攻撃で、画像にノイズを加えて標識を誤認識させるなどの例が知られています。モデル窃取はAPIの応答からモデルを複製する攻撃、データ窃取は学習データをモデルから復元する攻撃です。