「成功しました」が3人いて、誰も同じことを言っていない
PoC が終わりました。エンジニアは「正答率 85% を達成した、成功だ」と言います。現場は「使いにくくて結局手でやっている」と言います。経営層は「コストはいつ下がるのか」と聞きます。3人とも「成功」を別のものとして描いていたのです。
これを防ぐ唯一の方法は、PoC を始める前に、3つの層すべてで成功の定義を合意しておくことです。
| 層 | 問い | 誰の関心か |
|---|---|---|
| 効果層 | ビジネスに効果が出ているか（コスト、時間、売上、品質） | 経営層。投資判断の根拠 |
| 定着層 | 現場の人が実際に使っているか | 現場。「使われない」理由のほとんどはここ |
| 精度層 | AI が正しく答えられるか | エンジニア。最も定義しやすい |
精度層は数字にしやすいので、ここだけ決めて満足してしまいがちです。これが最大の罠です。「正答率 80% 達成＝成功」と判断して本運用に進み、あとから「使われていない」「効果が出ていない」に直面します。
定義は上から、達成は下から
3層には 二重構造 があります。
- 定義はトップダウン。 効果層 → 定着層 → 精度層の順に逆算して決めます。「月の対応工数を 100 時間減らす（効果）」なら、「担当者の 8 割が日常的に使う（定着）」必要があり、そのためには「現場が実務で使えると判断する正答率（精度）」が要る、という順です。効果層が決まっていない状態で置いた精度目標は、根拠のない数字です。
- 達成はボトムアップ。 精度 → 定着 → 効果の順に積み上がります。精度がなければ使われず、使われなければ効果は出ません。上の層は下の層の上にしか成立しません。
試験で「成功の定義で最初に定めるべき指標はどれか」と問われたら、答えは効果層の指標です。正答率は精度層、利用率は定着層です。
ベースライン：導入前の数字を測っていますか
効果層で最も多い失敗は、導入前の基準値を測っていないことです。導入後に「処理時間が 1 件 5 分になりました」と言っても、導入前が何分だったか分からなければ、効果を示せません。
ベースライン測定は、PoC の開始前（または開始と同時）に現状を数値で記録することです。測る項目は、対象業務の平均処理時間、一定期間あたりの件数、担当者数やコスト、品質の指標（クレーム件数、エラー率）です。試験では「導入後にコスト削減効果を示せない失敗の根本原因」として、ベースライン未測定が答えになります。
定着層の測り方は PoC 中と本運用で分ける
PoC は数週間から数か月です。この短い期間に「利用率 50%」という数字を取っても、それが使いにくさなのか、慣れていないだけなのか判別できません。そこで、PoC 中は定性的な代理指標（担当者の感想、使い続けたいか、業務に組み込めそうか）で見通しを評価し、定量的な検証は本運用で行うと分けます。
「使いたくない」と言われたときは、理由を4つに分けて診断します。
| 理由 | 対処 |
|---|---|
| 精度への不信感 | 精度層へフィードバック |
| 使いにくさ（UX） | 画面や操作の改善 |
| 業務の流れに合わない | 業務設計の見直し |
| 心理的な抵抗 | チェンジマネジメント（第5章） |
理由を特定せずに「精度を上げれば使われる」と判断するのは誤診です。「回答が長くて読む余裕がない」は UX と業務適合の問題で、精度を上げても解決しません。
精度の目標値は逆算する
精度層の目標は「なんとなく 90%」ではなく、3つの観点から逆算します。①いま人はどの程度の精度で対応しているか、②どの程度なら現場が実務で使えると判断するか、③どの程度なら本運用のリスクが許容範囲に収まるか。ベテランの正答率が 95% でも、AI にすぐ同じ水準を求めるのは非現実的で、対象範囲と目標水準をセットで設計します。
精度の「何を」測るかも業務で変わります。製品の品質検査 AI は不良品の見逃しを減らすことが重要なので 再現率（Recall、本物の不良品のうち検出できた割合） を優先します。迷惑メールのフィルタは正常なメールを誤って弾かないことが重要なので 適合率（Precision、迷惑と判定したうちの本当に迷惑だった割合） を優先します。見逃しと誤検知のトレードオフがある業務では、再現率を優先しつつ誤検知率にも上限を設ける、という設計になります。
成功定義シートと合否判定
3層の定義は、業務分析・現場視察の段階で、技術責任者・現場代表・意思決定者がそろって合意します。書くものは、解くべき課題、効果層（指標・現在値＝ベースライン・目標値・測定方法・時期）、定着層（PoC 中の定性評価方法、本運用後の定量指標と目標）、精度層（指標＝正答率／再現率／適合率／人の評価、現在の人の水準、目標値、測定方法）、合否判定ルール、合意した関係者です。
合否判定は単純です。3層すべて達成なら本運用へ。1つ以上未達なら原因を特定して A フェーズを繰り返す。根本的な見通しが立たなければ撤退を検討する。
試験で問われる観点
- 成功の定義で最初に定義すべき指標（効果層の指標。正答率は精度層、利用率は定着層）。
- 精度目標は達成したが定性評価で問題が出た場合の判断（定着層の問題として A フェーズを繰り返す）。
- 見逃しと誤検知のトレードオフがある業務の精度指標（再現率を優先しつつ誤検知率にも許容上限）。
- 導入後にコスト削減効果を示せない失敗の根本原因（ベースライン未測定）。
- 定義はトップダウン（効果→定着→精度）、達成はボトムアップ（精度→定着→効果）。