← パースペクティブに戻る
/Intellicon FDE Team

企業の AI Agent の記憶は、誰が管理すべきか

レコメンドの精度が向上し、取引額が増加しても、すべての顧客プロファイルが正しく判断されているとは限りません。本記事では、記憶を確認・修正・削除する方法を整理するとともに、記録の抜き取り調査を通じて、一度限りの例外を恒常的なルールとして扱っているケースを見つける方法を紹介します。

AIEgentWrX人機協作導入
企業の AI Agent の記憶は、誰が管理すべきか

ある顧客が同僚のために一度ベビーシャワーのギフトを購入したところ、その後はサイトを開くたびに、トップページにベビー用品が表示され続けるようになりました。営業担当者が特殊なプロジェクトで一度だけ特急対応を依頼したところ、AI Agent がその後も特急対応を恒常的な要望として扱ってしまうケースもあります。どちらも問題の本質は同じです。システムが一つの行動だけを見て、それがユーザーの長期的な嗜好なのか、その時だけ生じた例外なのかを区別できていません。

企業が、AI Agent を使うほどユーザーへの理解が深まる仕組みを目指すなら、まず各記憶をどのように保存するか、誰が閲覧できるか、誤って記憶された場合にどう訂正するかを決める必要があります。データを増やすことだけに注力すると、誤りも蓄積していきます。AI Agent がこうした記憶を見積もり、調達、カスタマーサービスなどのプロセスで利用すれば、一度の誤判断がその後の提案に影響を及ぼす可能性があります。

一度の購入を長期的な嗜好と見なせないのはなぜか?

TechOrange の報道によると、Etsy では過去、直近の購入履歴だけを参照すると、消費者がベルトのバックルを購入した後に、ベルトや帽子をおすすめする可能性がありました。ベビーシャワーのギフトを購入した人についても、これから親になるとシステムが誤認し、その後もベビー用品を継続的に表示してしまうことがありました。そこで Etsy は、購入履歴、個人の嗜好、行動上の手がかりを基に顧客プロファイルを構築し、消費者が新学期や引っ越しの準備をしているのか、本を収集しているのか、それとも他人へのギフトを購入しているのかを見分けようとしています。

同じ問題は、企業内の AI Agent でも発生します。営業担当者が個別案件を理由に、ある顧客の支払期限の変更に同意したからといって、その顧客が今後も同じ条件を希望するとは限りません。調達担当者が品不足を理由に別のサプライヤーへ見積もりを依頼しても、従来のサプライヤーが候補から外れたことを意味するわけではありません。カスタマーサービス部門が一度限りの苦情に対応するため処理レベルを引き上げても、その対応を同種の案件すべてに適用する恒常的なルールにすべきではありません。システムが処理結果だけを記憶し、その時点で関係していた顧客、期限、理由を併せて記録していなければ、次に類似案件が発生した際に誤って適用する可能性があります。

そのため、プロジェクトチームが記憶項目を設計する際は、少なくとも「嗜好の内容」と「適用条件」を分け、データの出所、発生日時、利用目的も保存する必要があります。既存データを点検する際は、まず最近の取引や会話を抜き取り調査し、それぞれの情報が本人の嗜好なのか、他人のために行った対応なのか、特殊な状況に対処するための措置なのかを、チームが明確に説明できるか確認します。説明できないデータは、すぐに長期的な嗜好として扱わないようにします。

記憶へ書き込む前に、4つに分類する

同じ発言でも、記憶すべきかどうかは、その用途と想定されるリスクによって異なります。ユーザーが「見積書は常に繁体字中国語で作成してください」と明確に伝えた場合は、そのまま記憶できる嗜好として分類できます。一方、営業担当者が、ある顧客は近く予算を削減する可能性があると述べたものの、情報がまだ確認されていない場合は、まず責任者によるレビューが必要です。内容が与信条件に関係する場合や、顧客ランクを変更する可能性がある場合は、指定された管理者の承認が必要になります。身分証明書番号、健康情報、業務に関係のない私的な内容については、AI Agent が後に無関係な業務で利用することを防ぐため、企業は書き込みを禁止するルールを明確に定めるべきです。

まずは営業、法務・コンプライアンス、データガバナンスの担当者が共同で、「そのまま記憶可能」「レビューが必要」「承認が必要」「書き込み禁止」という4つのルールを定めることをおすすめします。分類する際は、抽象的なカテゴリー名を並べるだけでなく、各部門で実際に想定される文例も添えます。たとえば、「顧客は電子インボイスを希望している」はそのまま記憶できますが、「顧客は取引を停止する可能性がある」はレビューが必要です。分類できない内容については、いったん書き込まず、責任者の確認を待ってから処理します。

EgentWrX の AI Agent の記憶は、ユーザー自身が確認、修正、削除できます。管理画面では、そのまま書き込む、レビューを必要とする、承認を必要とするといったルールも設定でき、個人情報を含む記憶は隔離されます。企業がこのような仕組みを採用する場合でも、誰がレビューを担当するのか、一定期間確認されなかった内容をいつから利用対象外とするのか、ユーザーから訂正を求められた場合に誰が対応するのかなど、責任分担を明確に記載する必要があります。まずは、カスタマーサービスの回答に関する嗜好や、営業文書の書式といった低リスクの場面から始め、分類方法が明確かどうかを確認したうえで、取引条件に影響する情報の追加を検討できます。

利用範囲を拡大する前に、誰が閲覧でき、後から経緯を確認できるかを確かめる

顧客プロファイルを利用する部門が増えるほど、データが誤用された場合の影響範囲も広がります。カスタマーサービス部門が返品対応のために閲覧する情報を、必ずしもマーケティング部門に公開する必要はありません。調達部門が把握しているサプライヤーとの価格交渉条件も、他部門の AI Agent の回答にそのまま表示されるべきではありません。企業が最初にすべてのデータを公開し、後からロールごとの制限を追加すると、試行期間中に無関係な担当者が機密情報を目にする可能性があります。

EgentWrX では、企業の組織構造とロールに応じて、各ユーザーが実行できる業務と閲覧できるデータを階層的に設定できます。管理者は監査ログを通じて、AI Agent が実行した業務をさかのぼって確認し、記録が完全に残されているかを検証することもできます。ただし、記録が残っているからといって、AI Agent がビジネス成果を生み出したことの証明にはなりません。チームは、レコメンドの品質と、売上高や注文金額などのビジネス指標をそれぞれ確認する必要があります。

原文では、パーソナライズされたショッピング体験を、Etsy の直近の業績改善要因の一つとして挙げていますが、AI 顧客プロファイル単独の貢献度は示されていません。企業が試行する場合も、同じ時期に売上が増加したという理由だけで、その成果をすべて AI Agent に帰属させることはできません。まずはロール別の権限マトリクスを作成し、データの種類、閲覧できる部門、操作できるロール、承認者を一覧化することをおすすめします。そのうえで、毎月一定数の記録を抜き取り調査し、データの出所、書き込みルール、出力結果、人による承認、その後の修正を一件ずつ照合してから、他部門への拡大を判断します。

よくある質問

AI Agent は何回の行動を確認すれば、長期的な嗜好として扱えますか?

あらゆる状況に適用できる固定の回数はありません。企業は、ユーザーが明確に意思を示しているか、同じ行動が異なる時点で繰り返されているか、その嗜好が価格や権利・利益に影響するかを併せて確認する必要があります。リスクが高いほど、本人または管理者の確認を得てから書き込むことが重要です。

ユーザーは、AI Agent が誤って記憶した内容を自分で修正できますか?

はい。企業は、AI Agent がユーザー本人について保存した記憶を、本人が確認、修正、削除できるようにすべきです。その情報が顧客ランク、与信、見積もりに影響する場合は、修正後も処理履歴を残し、その後のプロセスで新しい内容が使用されていることを確認する必要があります。

AI Agent の長期記憶に書き込むべきでない情報は何ですか?

業務に関係のない私的な内容、明確な利用目的のない個人情報、未確認で他者の権利・利益を損なう可能性がある推測は、書き込み禁止、または承認を待つ必要がある情報として分類すべきです。企業は、法務・コンプライアンス、データガバナンス、事業部門が共同でリストを管理し、定期的に抜き取り調査を実施できます。

パーソナライズされたレコメンドが、実際にビジネス成果を生み出したかどうかは、どのように判断しますか?

企業はまず、AI Agent の操作履歴とビジネス指標を分けて追跡し、提案を採用する前後のレコメンド結果、人による修正状況、顧客の反応を比較する必要があります。売上高や注文金額は、価格、マーケティング施策、市場環境にも左右されます。全体の数値が上昇したという理由だけで、すべての成長が AI Agent によるものだと判断することはできません。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。