生活雑貨ECのS社のレビュー返信AIエージェント

設問

各問の選択肢A〜Dから、最も適切なものを1つ選んでください。答えを決めてから「答えと解説」を開きます。

1. 問1最初の対象業務
   初回PoCの対象業務として、最も適切なものはどれか。表1の候補と、本文にある現場の聞き取りの内容を踏まえて選ぶこと。
   1. A問い合わせメールの一次返信。件数が多く、返信の遅れによる催促という損失を直接減らせて、過去のメールとFAQもそろっているため。
   2. B商品説明文の作成。1件あたりの工数が最も大きく、担当者の文章力への依存を減らす効果が最も見込めるため。
   3. Cレビューへの返信。件数が最も多く、過去の返信が残っていて、公開前に人が確認する形で効果を測れるため。
   4. DSNS投稿の作成。件数が少なく短期間で検証でき、ブランドの表現ルールを管理するマーケティング部が評価できるため。
   答えと解説

   正解: C

   対象業務は、課題の大きさと、データがそろっていて人が最終判断できる範囲かで選びます。レビュー返信は月約3,000件で最多、過去の返信約15,000件が残り、公開前に担当者が確認する形にすれば効果を測りながら進められます。聞き取りでも、対応が必要なレビューの発見に毎朝1時間かかること、返信のない星1レビューが購入検討者の目に入ることが課題として出ています。問い合わせメールは交換・返金の判断と切り離しにくく、個人情報も多く含みます。商品説明文は法務の確認が必要な表現が多く、品質を評価する基準も未整備です。SNS投稿は表現の良し悪しの基準が人によって異なり、効果を測れません。

2. 問2役割分担
   レビューの投稿から返信の公開までの役割分担として、最も適切なものはどれか。表2の権限と人の役割、各部門の現在の役割を踏まえて選ぶこと。
   1. AAIエージェントが星4〜5のレビューには返信案をそのまま公開し、CS部の担当者は星1〜3のレビューの返信だけに専念する。
   2. BAIエージェントはレビューの分類だけを行い、返信文はすべてCS部の担当者が一から書いて公開し、返信案は使わない。
   3. CAIエージェントが返信案を作り、マーケティング部が表現ルールに沿っているかを全件確認してから公開し、CS部は対応が必要なレビューだけを扱う。
   4. DAIエージェントが分類と返信案・要点を作り、CS部の担当者が確認して公開し、対応が必要なレビューは担当者が交換・返金を判断してから返信する。
   答えと解説

   正解: D

   表2では、AIエージェントの権限を分類と返信案・要点の作成に限定し、公開はCS部の担当者が確認してから行うと定めています。交換・返金の判断は社内規定に基づくCS部の役割なので、対応が必要なレビューは担当者が注文データを照合して判断してから返信を仕上げます。星4〜5を自動で公開する案は、PoC期間中は全件を担当者が確認するという条件に反し、公開後の訂正・削除を0件にする目標とも合いません。返信案を使わない案は、返信率と返信までの時間の改善という目的を果たせません。マーケティング部に全件確認させる案は、表現ルールの管理という役割を超えて返信業務を移すことになります。

3. 問3提案を止める条件
   次のレビューのうち、AIエージェントが返信案を作らずに担当者へ回すべきものはどれか。表2の「提案を止める条件」に該当するものを選ぶこと。
   1. A「使って3日目に取っ手が熱くなり、手にやけどをした。星1」というレビュー。
   2. B「届いた色が写真と違った。交換してほしい。星2」というレビュー。
   3. C「配送が予定より1週間遅れた。商品自体は問題ない。星2」というレビュー。
   4. D「思ったより小さかったが、引き出しにぴったりで使いやすい。星4」というレビュー。
   答えと解説

   正解: A

   表2の停止条件は、安全に関わる記載、法的な手続きや消費者センターへの言及、注文データと照合できないレビューの3つです。やけどをしたというレビューは安全に関わる記載なので、AIエージェントは返信案を作らず、担当者に回します。商品企画部による原因調査や、会社としての対応方針の判断が必要だからです。色違いの交換希望と配送の遅れは、対応が必要なレビューですが停止条件には当たらず、AIエージェントが要点と返信案を示し、担当者が交換・返金を判断してから返信します。星4のレビューはお礼のみの返信で済む範囲です。「星が低い」ことと「提案を止める」ことは別の条件として読み分けます。

4. 問4人の確認の範囲
   PoC開始から4週間の時点で、お礼のみのレビューの返信案の修正率は3%だった。担当者から確認の省略を求められたときの対応として最も適切なものはどれか。
   1. A修正率が十分に低いので、お礼のみのレビューは返信案をそのまま公開する運用にその時点で切り替え、残り4週間は公開後の訂正件数で効果を測る。
   2. B確認を省くと公開後の訂正・削除が増えて目標の0件を割るおそれがあるため、PoC終了後も全件確認を続ける前提で、省略は検討しない。
   3. C修正の内容を分類して表現ルールに関わる修正がないかを確かめたうえで、PoC期間中は全件確認を続け、省略する範囲は検証後の判断に含める。
   4. D担当者の負担を減らすため、星5のレビューの返信案だけは確認を省いて公開し、星4以下のレビューは引き続き全件を確認する。
   答えと解説

   正解: C

   PoCは、どこまで人の確認を外せるかを判断するための材料を集める期間です。修正率3%という数字だけでは、残りの3%がどんな修正か（言葉づかいの好みか、表現ルールに関わる修正か）が分かりません。修正の内容を分類して確かめ、PoC期間中は表2の条件どおり全件確認を続け、省略する範囲は8週間の検証後の判断に含めるのが適切です。期間の途中で運用を変えると、前半と後半の結果を比べられなくなります。確認の省略を検討しないと決めてしまう案は、PoCで集めた材料を使わないことになります。星5だけ省く案は、修正率を星ごとに分けて見た根拠が本文になく、期間の途中で条件を変える点も同じ問題があります。

5. 問5公開する文章のルール
   法務担当とマーケティング部が示した3つのルールを、PoCに反映する方法として最も適切なものはどれか。表2の権限と人の役割を踏まえて選ぶこと。
   1. A3つのルールは担当者がすでに知っているので、AIエージェントへの指示には含めず、公開前の確認で担当者が気づいたら直す。
   2. B法務担当が公開前にすべての返信案を確認して、ルールに反するものを差し戻す体制にし、CS部の担当者による確認は省いて負担を減らす。
   3. C交換・返金に触れる返信案を作らせないことでルール違反を防ぎ、対応が必要なレビューの返信はすべて担当者が一から書く。
   4. Dルールを返信案の作成指示と規定の案内文に反映し、担当者の確認項目にも同じルールを入れ、違反の件数を記録する。
   答えと解説

   正解: D

   公開される文章のルールは、作る側（AIエージェントへの指示と、交換・返金に関する規定の案内文）と、確認する側（担当者の確認項目）の両方に同じ内容で入れるのが基本です。違反の件数を記録すれば、指示の直し方と確認の省略の可否を判断する材料になります。担当者の気づきに頼る案は、返信案が増えるほど見落としが出て、公開後の訂正・削除を0件にする目標に届きません。法務担当に全件確認させる案は、表示・広告の表現確認という役割を超え、返信までの時間も延びます。交換・返金に一切触れない案は、表2で「規定の案内文の範囲で触れる」と定めた権限より狭く、対応が必要なレビューの返信で返信案を活かせません。

6. 問6データの準備
   過去2年分の返信約15,000件をPoCに使う準備として、最も適切なものはどれか。本文にある返信の現状と、各部門の役割を踏まえて選ぶこと。
   1. A約15,000件をそのまますべてAIエージェントに渡し、件数の多さで担当者ごとのばらつきが平均されることを期待する。
   2. BCS部とマーケティング部が表現ルールに合う返信を選び、分類ごとの見本と規定の案内文を整理して渡す。
   3. C過去の返信は担当者によって書き方が異なるので使わず、AIエージェントが持つ一般的な例文だけで返信案を作らせる。
   4. D情報システム部が星の数ごとに返信を自動で抽出し、内容は確認せずに分類ごとの見本としてそのまま渡す。
   答えと解説

   正解: B

   本文では、返信文は担当者個人の経験に頼っていて、お詫びや交換の案内の書き方が担当者によって異なるとあります。ばらつきのある返信をそのまま渡すと、返信案にもばらつきと表現ルールに反する書き方が持ち込まれます。返信の内容を評価できるのはCS部（業務の内容）とマーケティング部（表現ルール）なので、この2部門がルールに合う返信を選び、お礼のみ・対応が必要といった分類ごとの見本と、規定の案内文を整理して渡すのが準備になります。過去の返信を使わない案は、S社の商品や対応の実態を反映しない返信案になります。星の数で自動抽出する案は、内容の良し悪しを見ていないので、ばらつきをそのまま持ち込みます。

7. 問7誤りが起きたときの対応
   PoCの開始後、公開した返信に、レビュー本文に書かれていた注文番号と氏名がそのまま含まれていたことが分かった。この時の対応として最も適切なものはどれか。
   1. A担当者が確認して公開した返信なので、担当者の確認不足として注意を促し、AIエージェントの仕組みは変えずに続ける。
   2. B個人情報が公開される事故は重大なので、PoCをその時点で中止し、返信業務を従来どおり担当者が一から書く手作業に戻して再発を防ぐ。
   3. C返信を直ちに訂正し、レビュー本文の個人情報を返信案に反映しない処理を作成の段階に加え、担当者の確認項目にも個人情報の有無を加える。
   4. D個人情報が書かれたレビューは今後返信の対象から外し、お礼のみのレビューに限ってPoCを続けて、外したレビューの扱いは検証後に検討する。
   答えと解説

   正解: C

   公開された個人情報はまず直ちに訂正します。そのうえで、同じ誤りが二度起きないように、作る側と確認する側の両方を直します。返信案を作る段階でレビュー本文の個人情報を反映しない処理を加え、担当者の確認項目にも個人情報の有無を加えれば、PoCを続けながら再発を防げます。担当者の注意不足で済ませる案は、同じ原因で繰り返されます。1件の事故で中止すると、原因と改善の余地が分からないまま終わります。個人情報を含むレビューを対象から外す案は、そのレビューには交換や返金が必要な内容が多いという本文の状況に反し、原因を直さずに対象を狭めるだけになります。

8. 問8目標値の決め方
   表3では、返信率の目標を「80%以上」とした。この目標値の根拠として最も適切なものはどれか。本文のレビューの内訳と、表2の役割分担を踏まえて選ぶこと。
   1. A同業のECサイトでは返信率80%前後が一般的とされており、購入検討者からの見え方をそろえるために同じ水準に設定したため。
   2. BCS部に担当者を1名増やす計画があり、4名で1件8分の返信を月に約2,400件こなせる見込みから逆算して設定したため。
   3. C返信率100%は停止条件に当たるレビューがあるため達成できないので、切りのよい数字として80%を置いたため。
   4. D星4〜5の約75%は返信案の確認だけで公開でき、対応が必要なレビューの一部も担当者が返信できる見込みから設定したため。
   答えと解説

   正解: D

   目標値は、本文の数字と役割分担から、達成したときに何が変わるかを結びつけて決めます。レビューの約75%を占める星4〜5は、お礼のみの返信案を担当者が確認するだけで公開できます。これに、要点を示されて担当者が判断してから返信する星1〜3の一部を加えれば、80%という水準が本文の数字から出てきます。同業の水準は、S社の内訳や役割分担と対応していません。担当者の増員計画は本文にありません。「切りのよい数字」は根拠になりません。停止条件に当たるレビューがあることは100%にしない理由にはなりますが、80%という数字を導く根拠は内訳の方にあります。

9. 問9横展開の判断
   8週間の検証後、モール2店舗のレビューに広げるかを判断する際に、最も重視すべき観点はどれか。本文の情報システム部の報告を踏まえて選ぶこと。
   1. A目標の達成に加えて、モールのレビューは注文データと照合できないため、照合なしでも停止条件と役割分担が成り立つかを先に確かめる。
   2. B返信率と返信までの時間が目標に達していれば、自社ECサイトと同じ仕組みと条件のまま、モール2店舗のレビューにも同時に広げて効果を測る。
   3. Cモールのレビューは接続機能が提供されていないので、横展開の対象から外し、自社ECサイトの返信だけを続けていく。
   4. D自社ECサイトで効果が出ていれば、モール2店舗のレビューと問い合わせメールの一次返信にも同時に広げて、効果を一度にまとめて検証する。
   答えと解説

   正解: A

   横展開の判断では、目標に届いたかに加えて、PoCの結果が別の条件でも再現するかを見ます。情報システム部の報告では、モールのレビューは注文データとの照合が手作業になります。表2の停止条件には「注文データと照合できないレビュー」があり、対応が必要なレビューの要点も照合結果を前提にしているので、同じ仕組みのまま広げると、停止が多発するか、照合を人が肩代わりすることになります。照合なしでも停止条件と役割分担が成り立つかを先に確かめるのが筋です。対象から外す案は、接続機能がないことを運用の工夫で補えるかを検討していません。問い合わせメールまで同時に広げる案は、条件の違う2つの業務の効果が混ざって検証できなくなります。

10. 問10費用対効果の見方
    経営企画部は、PoCの費用約120万円に対する効果を経営層に説明したい。本文の数字をもとにした説明として、最も適切なものはどれか。
    1. A返信率80%で月約2,400件の返信に1件8分を掛けた時間を、AIエージェントが生み出した人件費の削減額として費用の120万円と比べて示す。
    2. B返信が増えたことによる売上の増加を社内の推定で算出し、その金額が8週間の費用を上回っていることを主な効果として経営層に示す。
    3. C毎朝約1時間の確認作業の削減と、返信までの時間と返信率の変化を示し、売上への影響は返信の有無で購入率を比べて別に検証する。
    4. D8週間の費用は返信業務の工数削減では回収できないので効果の数字は示さず、次の投資判断の材料になったとだけ説明する。
    答えと解説

    正解: C

    費用対効果は、本文にある数字と、PoCの目的に対応させて示します。目的は返信までの時間の短縮、返信率の向上、対応が必要なレビューの見落とし防止なので、効果は、毎朝約1時間かけていた確認作業の削減と、返信までの時間と返信率の変化で示します。返信件数に8分を掛ける案は、返信率を上げるPoCでは返信の件数自体が増えるので、削減額にはなりません。売上の増加は本文に根拠となる数字がなく、推定で主な効果にすると説明の信頼を損ないます。返信の有無で購入率を比べるなど、別の検証として扱います。効果の数字を示さない案は、評価指標と目標値を定めた意味を失わせます。