AIエージェント・ストラテジスト › Web参考書 › 第6章

5Dモデル Step5 Deployment & Scale(展開・定着):パイロット、ロールアウト、スケーリング、AI-SECI

第6章 AIエージェントを実装する5Dモデル / 節 5

シラバスのキーワード: Deploymentパイロットロールアウトスケーリング展開計画AI-SECIモデル知識循環定着化KPIモニタリングアウトカム指標長期指標

本文を読んだあと、覚えているか確認してください。

検証に合格した。全社に一斉に出してよいか

PoC で Go 判断が出ました。ここで「全物件・全担当者に一斉展開」とやるのが、最後の落とし穴です。Deployment & Scale は、検証済みの AIエージェントを本番に出し、段階的に広げ、組織に根づかせるステップで、3つの段階を経ます。

パイロット:まず小さく本番で動かす

パイロット導入は、全社一斉ではなく、限定した部門・チーム・業務で本番稼働させることです。Step4 のサンドボックスとの最大の違いは、実データと実際の利用者を対象に、本番環境で運用する点です。

なぜサンドボックスの合格だけでは足りないのか。理由は3つあります。

  1. 実環境でしか見つからない品質の問題がある。 テストデータでは問題なくても、実際の依頼には誤字、方言、写真の向きの違い、複数の設備をまとめて書いた長文など、想定外が含まれます。
  2. AI 本体だけでなく、運用の仕組みも検証する必要がある。 AI が判定できないケースを誰に引き継ぐのか、誤った判定で業者を手配してしまったらどう対応するのか。運用の手順は実際に回してみないと機能するか分かりません。
  3. 小さな成功実績が、次の展開を進める根拠になる。 いきなり全社展開より、限定範囲で成果を示した方が経営層と現場の理解を得やすい。これは Discovery のクイックウィンの考え方とつながります。

修繕依頼の例なら、1つの営業所の担当者2名で、3週間、実際に届いた依頼を AI が処理する本番運用を行います。確認する観点は、実データでも精度が維持されるか、運用の流れ(担当者がどう確認し、業者にどう手配し、入居者にどう連絡するか)が無理なく回るか、定量的な成果(初回連絡までの時間が2日から2時間、1件あたりの処理が 15 分から 4 分、など)が実際に出るか、です。

ロールアウトとスケーリング:広げ方は2種類

パイロットが成功したら広げます。広げ方には2種類あり、試験で区別が問われます。

段階的に進める意味は、リスクを管理できる範囲に収めることです。全社一斉で問題が起きれば影響は全社に及びますが、段階的なら各段階で問題を見つけて直してから次に進めます。各段階の進行判断基準は事前に決めておきます。たとえば「読み取り精度 85% 以上を3週間維持」「公平性テスト合格」「担当者の満足度 70% 以上」の3条件をすべて満たしたら次の段階へ、というルールです。

AI-SECI モデル:人と AI の間で知識が回る

第3章の SECI モデルは、人と人の間で知識が暗黙知と形式知を行き来しながら増える循環でした。AI-SECI モデルは、この循環の中心に AIエージェントを置いたものです。人と AI の間で知識が回ります。

段階 修繕依頼の受付での姿
共同化 ベテラン担当者が AI の判定を日々確認するうちに「築年数の古い物件の『水の出が悪い』は、AI が通常と判定するが、配管の劣化が多いので早めに見た方がよい」という勘を蓄積する
表出化 その勘が「築 30 年以上の物件の水量低下は、3日以内に格上げする」というフィードバックとして言葉になる
連結化 フィードバックがルールとして既存のプロンプトに統合される。設備故障だけでなく、共用部の点検依頼の判定にも横展開される
内面化 改善された AI の判定を日々見る新人担当者が、「古い物件の水回りはこう見る」という判断力を自然に身につける

このサイクルが回り続けると、AI の精度と人の判断力が同時に上がり、組織の知的資産が厚くなります。試験では「人の暗黙知が AI へのフィードバックとして形式知化され、改善された AI を通じて人が新たな暗黙知を得る」一連の流れの名前として AI-SECI モデルが問われ、「人と人の間」の SECI モデルやフィードバックループと区別させます。

KPI モニタリング:処理件数は成果ではない

稼働後に追う指標は、第5章のアウトプット指標とアウトカム指標の区別がそのまま使われます。

「AI が1日に 60 件の依頼を処理している」はアウトプット指標(活動量)です。件数が多くても、判定の精度が低ければ担当者の修正が増えて、かえって工数が膨らみます。追うべきはアウトカム指標(価値)です。初回連絡までの時間がどれだけ短くなったか、担当者間の判定一致率がどう変わったか、そしてAI が「通常」と判定した依頼が、後日「緊急だった」と判明していないか(二次被害や苦情につながっていないか)。

3つ目は修繕依頼固有の本質的な指標です。処理を速くしても、見逃しで水漏れが階下に広がっていれば導入の意味がありません。この指標は数か月かけて追う必要があるので、短期のアウトカム指標と長期のアウトカム指標を分けて設計します。公平性テストの定期的な合格確認も、稼働後のモニタリングに含めます。

試験で問われる観点

この節の練習問題(6問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    Deployment & Scaleにおけるパイロット、ロールアウト、スケーリングの説明として、最も適切なものはどれか。
    1. 1パイロットは限定した部門で実データ・実利用者による本番稼働を行う段階、ロールアウトは同じ機能をより多くの利用者に段階的に広げる段階、スケーリングは対象業務の拡大や新機能の追加など能力そのものを拡張する段階である
    2. 2パイロットはテスト用データで隔離環境の動作を確認する段階、ロールアウトは対象業務の拡大や新機能を追加する段階、スケーリングは同じ機能の利用者数を段階的に増やす段階である
    3. 3パイロットとロールアウトは同じ意味で限定された部門での本番稼働を指し、スケーリングだけが利用者数の拡大を指す用語であり、能力の拡張は3つのどれにも含まれない
    4. 4パイロットは全社一斉に本番稼働させる段階、ロールアウトは問題が起きた部門を切り離して従来業務に戻す段階、スケーリングは処理サーバーを増設して速度を上げる段階である
    答えと解説

    正解: 1

    パイロットは全社一斉ではなく限定された部門・チームで本番稼働させ、実データ特有のばらつきや運用手順の妥当性を小さな範囲で確認する段階です。ロールアウトは機能を変えずに利用者を段階的に拡大してリスクを管理可能な範囲に収めます。スケーリングは対象業務の拡大や新機能の追加など、能力そのものの拡張を含みます。テスト用データによる隔離環境の検証はサンドボックスで、Developmentの活動です。

  2. 問2
    営業支援AIの展開計画で、次の2つの段階をロールアウトとスケーリングに分類した組み合わせとして正しいものはどれか。(ア) 東京支社の担当者5名で成功したのと同じ機能を、全国の営業担当者60名に順次広げる。(イ) 新たにカレンダー連携による商談日程の自動調整機能を追加する。
    1. 1(ア) ロールアウト、(イ) パイロット
    2. 2(ア) ロールアウト、(イ) スケーリング
    3. 3(ア) スケーリング、(イ) ロールアウト
    4. 4(ア) パイロット、(イ) ロールアウト
    答えと解説

    正解: 2

    ロールアウトの核心は「同じ機能を、より多くの人に届ける」ことで、機能自体は変わりません。利用者を段階的に広げれば各段階で問題を検出・修正してから次に進めます。これに対し、新しい機能の追加や対象業務の拡大は能力そのものの拡張であり、スケーリングに分類されます。各段階の進行判断には、精度の維持、バイアステストの合格、担当者満足度のような条件をあらかじめ設定します。

  3. 問3
    運用中の契約書レビューAIについて、ベテランの法務担当者が「特定の業界の契約書で特約条項を見落とす癖がある」と気づき、その知見を明文化してプロンプトに反映した結果、精度が向上した。改善後の出力を日々確認する新人担当者が、同様の着眼点を自然に身につけた。この一連のプロセスを最も適切に表す概念はどれか。
    1. 1フィードバックループ。実行、結果の評価、改善、再実行を繰り返す改善サイクルの全体を指す概念で、Definitionで定めた合格基準が終了の判断基準になる
    2. 2従来のSECIモデル。人間同士の間で暗黙知と形式知が共同化、表出化、連結化、内面化の順に変換される知識創造の循環を指す概念で、AIは介在しない
    3. 3AI-SECIモデル。人間の暗黙知がAIへのフィードバックとして形式知化され、AIに統合され、改善されたAIを通じて人間が新たな判断力を身につける知識循環である
    4. 4Human-in-the-Loop。AIの処理の途中に人間の確認と修正を組み込む仕組みそのものを指す概念で、確認結果が改善データとして蓄積されることまでを含む
    答えと解説

    正解: 3

    AI-SECIモデルは、人間同士の知識変換を扱う従来のSECIモデルをAIエージェントの文脈に拡張したもので、共同化(担当者が出力を確認しながら感覚的な判断を蓄積)、表出化(暗黙知がフィードバックとして明文化)、連結化(既存のプロンプトやナレッジベースに統合)、内面化(改善されたAIの出力を通じて担当者が判断力を獲得)が循環します。AIがサイクルの中核に入っている点で従来のSECIモデルと区別され、Human-in-the-Loopやフィードバックループはこの循環を構成する要素です。

  4. 問4
    採用スクリーニングAIの本番運用後に追跡すべき指標として、最も適切なものはどれか。
    1. 1AIが処理した応募書類の月間件数と人事担当者のAIの利用回数という、活動量を示す指標。利用が定着していることが成果の証拠になる
    2. 2プロンプトの改善回数とFew-shotに追加した例の数という、改善活動の量を示す指標。改善が続いていることが品質の証拠になる
    3. 3AIの稼働率とOCRの読取実行回数という、システムが正常に動いていることを示す指標。停止がないことが運用成功の証拠になる
    4. 41件あたりの処理時間の短縮率や担当者間の判定一致率に加え、AIが高く評価した候補者が入社後に活躍しているかという長期のアウトカム指標
    答えと解説

    正解: 4

    運用後のKPIモニタリングでは、処理件数や利用回数のようなアウトプット指標ではなく、処理時間の短縮、判定一致率の変化、バイアステストの定期的な合格確認といったアウトカム指標を中心に追跡します。採用スクリーニングAIでは「高スコアを付けた候補者が実際に入社後に活躍しているか」が本質的な成果を測る指標で、半年から1年のスパンで追跡する必要があるため、短期と長期のアウトカム指標を分けて設計します。

  5. 問5
    8つの拠点へAIエージェントを2拠点ずつ4段階で展開している。各段階の開始条件は「前段階で重大な権限逸脱が0件」「対象拠点の研修・権限確認・模擬申請20件の合格」である。第2段階の拠点で本運用の開始後に重大な権限逸脱が1件確認された。第3段階の2拠点は研修、権限確認、模擬申請の合格を終えている。この時点の判断として最も適切なものはどれか。
    1. 1第3段階を止め、権限逸脱の原因と影響範囲を確認し、是正したうえで再開を判断する。
    2. 2第3段階の2拠点は開始条件をすべて満たしているので予定どおり開始し、第2段階の権限逸脱は並行して調査する。
    3. 3権限逸脱が起きた拠点を従来の手順へ戻し、第3段階の2拠点は対象の申請を限定して開始する。
    4. 4権限逸脱が起きていないもう一方の第2段階の拠点の結果で第2段階を評価し、第3段階の開始可否を決める。
    答えと解説

    正解: 1

    段階展開(ロールアウト)の開始条件に「前段階で重大な権限逸脱が0件」を置いたのは、問題を小さな範囲で検出して修正してから広げるためです。第3段階の拠点側の準備が整っていても、前段階の条件が満たされない以上は開始しません。原因が設計や設定にあれば、どの拠点でも同じ逸脱が起きうるからです。逸脱が起きた拠点だけを戻す、対象を限定して開始する、問題のない拠点の結果だけで評価する案は、いずれも原因と影響範囲が分からないまま展開を続ける判断です。各段階の条件は、満たせなかったときに止めるためにあります。

  6. 問6
    審査業務のAIエージェントを2つの窓口で本運用した結果、見落とし率と権限の基準は満たしたが、利用率は58%にとどまった。利用されなかった案件は繁忙時間帯に集中し、提案が画面に表示されるまでの時間が想定より長かった。次の対応として最も適切なものはどれか。
    1. 1表示する根拠候補の数を減らして応答時間を短縮し、判断根拠の明確さは審査職員の記録で補って次の窓口へ広げる。
    2. 2安全に関する基準を満たしているので次の窓口へ広げ、利用率は対象の窓口が増えてから改めて評価する。
    3. 32つの窓口に操作研修を追加し、応答時間と提示内容は変えずに利用率を測り直す。
    4. 4応答時間、利用されなかった申請の種類、研修の理解度を調べ、利用されない原因を課題定義に戻って見直してから、次の窓口への展開を判断する。
    答えと解説

    正解: 4

    利用率は定着層の指標で、低いまま展開を広げても使われない範囲が広がるだけです。利用されない案件が繁忙時間帯に集中し、表示までの時間が長いという事実があるなら、原因は現場の意欲ではなく提示の設計にある可能性が高く、応答時間、対象の申請、研修の理解度を分けて調べ、課題定義(Definition)に戻って見直します。操作研修だけを足す案は原因を特定せずに現場へ負担を移し、根拠候補を減らす案は判断根拠の明確さという別の要件を損ないます。安全の基準を満たしていることは展開の必要条件であって、十分条件ではありません。利用率が低い場合に職員の評価に使わないことも、原因を正しく調べるための前提です。