AIプロジェクトの進め方（CRISP-DM、PoC、アジャイル、MLOps、体制と連携）

この節の練習問題（13問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   データ分析プロジェクトの標準的なプロセスモデルであるCRISP-DMの6つのフェーズを正しい順序で並べたものを選びなさい。
   1. 1ビジネス理解 → データ理解 → データ準備 → モデリング → 評価 → 展開
   2. 2モデリング → データ準備 → データ理解 → ビジネス理解 → 展開 → 評価
   3. 3展開 → 評価 → モデリング → データ準備 → データ理解 → ビジネス理解
   4. 4データ準備 → ビジネス理解 → 評価 → モデリング → 展開 → データ理解
   答えと解説

   正解: 1

   CRISP-DM（Cross-Industry Standard Process for Data Mining）は、ビジネス課題の理解から始まり、データの理解と準備、モデリング、評価を経て展開（運用）に至る6フェーズで構成され、必要に応じて前のフェーズに戻る反復的なプロセスです。機械学習向けに品質保証の観点を加えて拡張したものがCRISP-ML(Q)です。技術から入るのではなくビジネス理解を最初に置く点が重要です。

2. 問2
   AIプロジェクトにおけるPoC（概念実証）の位置づけと、開発手法の選び方に関する記述として最も適切なものを選びなさい。
   1. 1アジャイル型とは要件や目標を決めずに開発を始め、完成するまで顧客に成果物を見せない手法であり、AI開発では精度の目標を定めないため、PoCで実現可能性を検証する工程は省略されるのが通例である
   2. 2AIは学習してみないと精度が分からないため、本格開発の前にPoCで技術的な実現可能性と効果を小規模に検証する。要件が固まりにくいので、短い反復で改善するアジャイル型が向くことが多い
   3. 3AIは学習前に理論的に精度を正確に見積もれるため、PoCを行わずに要件を最初に確定し、設計・実装・テストを順番に進めるウォーターフォール型で開発するのが基本であり、アジャイル型はAI開発には適さない
   4. 4PoCとは本番システムの完成後にユーザー環境で行う最終的な受け入れテストのことで、精度が要件を満たすことを確認する工程である。AIは要件が固まりやすいため、ウォーターフォール型が向くことが多い
   答えと解説

   正解: 2

   AIシステムは、データの質や量によって達成できる精度が変わり、事前に要件として精度を確定しにくい特性があります。そのためPoC（Proof of Concept）で小規模に試作して実現可能性を確かめてから本格開発に進むのが一般的です。同じ理由で、要件を最初に固定するウォーターフォール型より、短いサイクルで試作と評価を繰り返すアジャイル型が適しているとされます。PoCは開発前の検証であり、最終テストではありません。

3. 問3
   AIシステムを運用する段階に関する用語の説明として、最も適切なものを選びなさい。
   1. 1MLOpsはモデルの学習アルゴリズムを研究開発するための実践で、デプロイや運用は対象外とする。学習したモデルはWeb APIではなく紙の仕様書として納品され、Dockerなどのコンテナはモデルの重みを圧縮して保存するための形式として用いられる
   2. 2MLOpsはWebサーバーの負荷分散とネットワーク監視を自動化するための実践で、モデルの再学習は含まない。学習したモデルはDockerなどのコンテナに変換してから利用者の端末に個別にインストールして配布し、Web APIとして提供することはない
   3. 3MLOpsは機械学習モデルの開発から運用までを継続的に回すための実践で、モデルの性能監視や再学習、デプロイの自動化などを含む。学習したモデルはWeb APIとして提供され、Dockerなどのコンテナで環境を再現性高く配布することが多い
   4. 4MLOpsは機械学習モデルを一度デプロイした後は更新せずに固定して運用するための実践で、性能監視や再学習は対象外とする。学習したモデルはJupyter Notebookをそのまま本番のWebサーバーとして公開して提供し、Dockerはデータの前処理にのみ用いる
   答えと解説

   正解: 3

   AIモデルは運用開始後、データの分布の変化によって性能が劣化するため、精度をモニタリングして必要に応じて再学習・再デプロイするライフサイクル管理が必要です。これを開発（Dev）と運用（Ops）を統合するDevOpsの考え方に機械学習を加えて体系化したものがMLOpsです。モデルはWeb API経由で他システムから呼び出す形で提供されることが多く、Dockerコンテナで実行環境を固定します。PythonとJupyter Notebookは分析・開発で使う標準的な言語とツールです。

4. 問4
   AI導入プロジェクトを企画する際の進め方として、最も適切なものを選びなさい。
   1. 1まず導入したい最新のAI技術を選定し、その技術を活かせる業務を社内から探して適用先を決める。業務プロセスは変更せず既存の手順をそのままAIで自動化することで、現場の混乱を避けながら短期間で成果を出す
   2. 2現場の担当者は現状の業務に慣れているため意見を聞くと変化への抵抗が生じやすく、経営層の判断だけで導入するAIと対象業務を決める。解決すべき課題はAIの導入後に出力結果を見ながら定義する
   3. 3AIを導入すれば業務プロセスは自動的に最適化されるため、業務の見直し（BPR）は導入後に行えばよい。関係者のニーズは導入効果を測る段階で初めて確認し、企画段階では技術的な実現可能性の検証だけに集中する
   4. 4まず解決すべきビジネス課題と関係者（ステークホルダー）のニーズを明確にし、AIが本当に適した手段かを検討する。業務プロセス自体の見直し（BPR）と合わせて進め、既存の非効率な業務をそのまま自動化しないようにする
   答えと解説

   正解: 4

   AIプロジェクトで失敗しやすいのは、技術ありきで課題が曖昧なまま始めるケースです。CRISP-DMでもビジネス理解が最初のフェーズであり、経営層・現場・利用者などステークホルダーのニーズを整理し、AI以外の手段も含めて検討することが求められます。また、AIの導入は業務プロセスの再設計（BPR）とセットで考えないと、非効率な手順をそのまま自動化してしまうことになります。

5. 問5
   AIプロジェクトの体制と外部連携に関する記述として、最も適切なものを選びなさい。
   1. 1AI人材やデータが自社だけでは不足する場合、大学との産学連携や他企業・他業種との連携、外部の知識や技術を取り込むオープン・イノベーションが有効であり、データサイエンティストなどの専門人材の確保と育成も課題になる
   2. 2AI人材やデータが自社だけでは不足する場合でも、情報漏えいを防ぐためにAIプロジェクトは自社の人材とデータだけで完結させるべきで、大学との産学連携やオープン・イノベーションは知的財産の流出につながるため避けるべきである
   3. 3データサイエンティストは統計や機械学習の知識があれば十分でビジネスの理解は求められず、AI人材が不足する場合は大学が一方的に企業へ技術を提供する産学連携で補えるため、企業側が人材を育成する必要はない
   4. 4オープン・イノベーションは自社の技術や知識を無償で外部に公開する取り組みを指し、産学連携は大学が企業から研究資金を受け取る代わりに研究成果の権利をすべて企業に譲渡する仕組みで、人材の確保とは関係がない
   答えと解説

   正解: 1

   AIプロジェクトには、データの収集、モデルの開発、業務への組み込みなど幅広い能力が必要で、自社だけで揃えるのは難しい場合が多くあります。大学との共同研究（産学連携）、他社のデータや技術との組み合わせ、外部のアイデアや技術を取り込むオープン・イノベーションは有効な選択肢です。データサイエンティストには統計・機械学習の技術だけでなく、ビジネス課題を理解して分析に落とし込む力が求められます。

6. 問6
   CRISP-DMを機械学習向けに拡張したCRISP-ML(Q)の特徴として、最も適切なものを選びなさい。
   1. 1各フェーズに品質保証（Quality Assurance）の観点を組み込み、モデルの展開後の監視・保守までをライフサイクルとして扱う
   2. 2各フェーズに品質保証（Quality Assurance）の観点を組み込む代わりに、ビジネス理解と評価のフェーズを省略して開発を短縮する
   3. 3各フェーズに定量的（Quantitative）な評価指標を設け、モデリングのフェーズだけを対象としてモデルの展開後の監視・保守は扱わない
   4. 4各フェーズをウォーターフォール型で一度だけ実施し、前のフェーズへ戻らずにモデルの展開（Quick deployment）を最優先する
   答えと解説

   正解: 1

   CRISP-ML(Q)は、CRISP-DMの各フェーズに要件の定義とリスクの特定・低減という品質保証の手順を加え、さらにモデルの監視と保守のフェーズを明示した機械学習向けのプロセスモデルです。ビジネス理解から始まり、必要に応じて前のフェーズに戻る反復的な進め方はCRISP-DMと共通です。

7. 問7
   需要予測AIを運用して1年が経過し、導入当初は高かった予測精度が徐々に下がってきた。原因として最も考えられるものと、その対応の組み合わせを選びなさい。
   1. 1運用開始後に蓄積された新しいデータが自動的に学習に取り込まれて過学習が進んだ。追加学習を止め、導入当初の学習データだけで作ったモデルに戻して固定する
   2. 2市場環境や顧客の行動が変化し、学習時とデータの分布がずれてきた（ドリフト）。精度を継続的に監視し、新しいデータで再学習してモデルを更新する
   3. 3モデルのパラメータが運用中の推論のたびに少しずつ書き換わって劣化した（ドリフト）。サーバーを再起動して学習直後のパラメータに戻せば元の精度に戻る
   4. 4AIは一度学習すれば精度が下がることはないため、精度の測定方法か評価データに誤りがある。評価指標を精度が高く見えるものに変更し、モデルはそのまま運用を続ける
   答えと解説

   正解: 2

   運用中のAIモデルは、入力データの分布や入出力の関係が時間とともに変化する（データドリフト、コンセプトドリフト）ため、精度が劣化していきます。MLOpsではモデルの性能をモニタリングし、劣化を検知したら再学習・再デプロイするライフサイクル管理が求められます。パラメータが勝手に劣化することはなく、指標を都合よく変えるのは不適切です。

8. 問8
   AIプロジェクトの進め方に関する記述として、誤っているものを選びなさい。
   1. 1AIの精度は100%にはならないため、誤った予測が出たときに人がどう対応するかの業務フローもあわせて設計する
   2. 2AIシステムの導入効果は、AIそのものの精度だけでなく、現場の利用者が結果をどう使うかに大きく左右される
   3. 3PoCで高い精度が出れば、本番環境でも必ず同じ精度が再現されるため、運用後の検証は不要である
   4. 4PoCでは、精度の目標値だけでなく、その精度で業務上どれだけの効果が出るかをあらかじめ定義しておくと、本格開発に進むかの判断がしやすい
   答えと解説

   正解: 3

   PoCは限られたデータと環境で行うため、本番ではデータの質や分布が異なり、精度が再現されないことが少なくありません。本番展開後も継続的な検証と監視が必要です。効果の事前定義、誤予測時の業務フロー設計、利用者の使い方が効果を左右するという記述はいずれも正しい内容です。

9. 問9
   学習済みモデルをサービスとして提供する形態に関する記述として、最も適切なものを選びなさい。
   1. 1学習済みモデルは利用者の端末にインストールして提供することが法律で求められており、クラウド上でWeb APIとして公開する形態は機密データを送信することになるため認められていない
   2. 2クラウド上でモデルをWeb APIとして公開すると、他のシステムから推論を呼び出せる代わりにモデルの再学習や更新ができなくなるため、頻繁に更新するモデルは利用者の端末にインストールして配布する必要がある
   3. 3Dockerは学習済みモデルを人間が読める文章に変換して配布するツールで、端末側で推論するエッジAIはクラウドより通信の遅延が大きくなるため、機密データを扱う場合にはWeb APIでの提供が適している
   4. 4クラウド上でモデルをWeb APIとして公開すれば、他のシステムからネットワーク経由で推論を呼び出せるが、通信の遅延や機密データの送信が課題になる場合は端末側で推論するエッジAIを検討する
   答えと解説

   正解: 4

   クラウド上のWeb APIは導入と更新が容易で計算資源も柔軟ですが、通信遅延やデータを外部に送ることへの懸念があります。自動運転や工場の検査のように即時性や機密性が重要な場合は端末側で推論するエッジAIが選ばれます。Dockerはコンテナ技術で、モデルの実行環境を再現性高く配布するために使われます。

10. 問10
    分析担当者のPCで動いていた需要予測モデルを本番サーバーに移したところ、ライブラリのバージョン違いで動作しなかった。再発を防ぐ方法として最も適切なものを選びなさい。
    1. 1Dockerのコンテナに実行環境ごとまとめ、本番でも同じ環境を再現する
    2. 2Jupyter Notebookの実行結果を画像で保存し、本番サーバーに配布する
    3. 3本番サーバーでは毎回最新版のライブラリを自動で入れるようにする
    4. 4CRISP-DMのデータ準備フェーズに戻り、モデルを学習し直す
    答えと解説

    正解: 1

    Dockerはコンテナで実行環境を再現性高く配布する技術で、開発環境と本番環境のライブラリの違いによる不具合を防げます。Notebookの実行結果を画像で配っても、モデルを動かす環境は再現されません。本番だけ最新版を入れると手元との差がむしろ生じやすく、学習し直しても環境の違いという原因は解消しません。

11. 問11
    CRISP-DMに沿って解約予測モデルを作り、評価フェーズで確認したところ、精度は高いが当初のビジネス目標である解約の削減にはつながらないと分かった。次の対応として最も適切なものを選びなさい。
    1. 1精度は十分に高いため、そのまま展開フェーズに進めて運用を始める
    2. 2ビジネス理解のフェーズに戻り、課題の設定や目標を見直す
    3. 3CRISP-DMでは前のフェーズに戻れないため、プロジェクトを中止する
    4. 4データを追加して、精度をさらに高めることだけに注力する
    答えと解説

    正解: 2

    CRISP-DMは必要に応じて前のフェーズに戻る反復的なプロセスモデルで、評価フェーズではモデルの精度だけでなくビジネス目標の達成度を確認します。目標につながらないなら、ビジネス理解に戻って課題設定を見直すのが適切です。精度だけを理由に展開したり、精度向上だけに注力したりしても目標とのずれは解消せず、前のフェーズに戻れないという理解も誤りです。

12. 問12
    需要予測AIのPoCで「予測誤差10%以内」という精度目標を達成したが、本格開発に進むかの判断で意見がまとまらなかった。次のPoCで改善すべき点として最も適切なものを選びなさい。
    1. 1精度目標を引き上げ、達成するまでPoCを繰り返す
    2. 2PoCを省略し、最初から本番環境で開発を始める
    3. 3要件を最初にすべて固定し、ウォーターフォール型で進める
    4. 4精度に加え、業務上の効果の目標も事前に定義しておく
    答えと解説

    正解: 4

    PoCでは精度の目標だけでなく、その精度で業務上どれだけの効果が出るかを事前に定義しておくと、本格開発に進むかを判断しやすくなります。精度目標を引き上げても業務効果との関係が不明なままでは判断材料になりません。AIは学習してみないと精度が分からないためPoCの省略は適さず、要件が固まりにくいことから最初に要件を固定するウォーターフォール型も向かないことが多いとされます。

13. 問13
    経理部門で、紙の請求書を回覧・押印した後に担当者が手入力している業務に、請求書の文字を読み取るAIを導入する。導入の進め方として最も適切なものを選びなさい。
    1. 1回覧や押印の手順は変えず、手入力の部分だけをAIに置き換える
    2. 2業務プロセス全体を見直し、不要な手順を除いたうえでAIを組み込む
    3. 3まず最新の画像認識モデルを選定し、適用できる業務を後から探す
    4. 4AIの精度が100%になるまで、現行の業務手順には手を付けない
    答えと解説

    正解: 2

    AIの導入は業務プロセスの再設計（BPR）とセットで考え、非効率な手順をそのまま自動化しないようにします。回覧や押印を残したまま入力だけを置き換えると、非効率な手順が温存されます。技術ありきで適用先を後から探すのはAIプロジェクトの典型的な失敗で、AIの精度は100%にならない前提で業務を設計する必要があります。