AI Agent は見積書の作成や過去の注文との照合、契約条件の確認まで完了しています。次のステップとして、そのまま顧客に送信してもよいのでしょうか。企業は、購買時の価格比較、カスタマーサポートの回答、品質異常への対応、システム修正などの業務でも、同じ問題に直面します。前半の作業は AI Agent に自動で処理させることができますが、管理者が本当に懸念するのは、AI Agent が後続のプロセスを実行する際に、機密データへアクセスしたり、会社を代表して社外に確約したり、本番システムを直接変更したりしないかという点です。
企業は「すべてを自動実行する」か「すべてのステップで承認を得る」かの二者択一をする必要はないと、私たちは考えています。より現実的なのは、まず各操作をリスクに応じて分類し、人による判断が必要な箇所に承認ゲートを設ける方法です。AI Agent は前半の作業を終えた時点でいったん停止し、指定された担当者がデータの正確性、想定される影響、次に実行する操作を確認したうえで、処理を続行するかどうかを判断します。
自動実行の可否は、タスク名だけでは判断できない
PCI Security Standards Council（PCI SSC）は10月7日、決済環境における AI セキュリティガイダンスを公表し、AI の権限とセキュリティ対策をあらためて点検するよう企業に促しました。この文書では、最小限の自律性（least agency）を採用し、AI Agent に対してタスクの遂行に必要なシステム、データ、実行能力だけを与えることが推奨されています。AI Agent が平文のカード会員データを扱う場合は、事前に担当者から明示的な承認を得る必要があります。また企業は、トークン化（tokenization）、切り詰め、暗号化されたデータを AI に優先的に使用させるべきだとされています。
この補足情報文書はあくまで推奨事項を示したものであり、原文では、これらの推奨事項を PCI の新たな必須要件とは位置付けていません。一方で、文書は実用的な役割分担の方法を提示しています。人による介入（Human-in-the-loop）では、AI の各タスクについて適切な担当者の承認を必要とします。人による監督（Human-over-the-loop）では、あらかじめ承認範囲を定め、その範囲内で AI Agent に処理を実行させたうえで、担当者が継続的に監督し、最終責任を負います。
企業はこの方法に基づき、個々の操作を一つずつ確認する必要があります。「カスタマーサポートのプロセス」や「購買プロセス」全体を、同じリスクとして一括りにしてはいけません。カスタマーサポートを例にすると、返品・交換規定の検索や会話内容の整理は、事前承認された範囲に含められます。一方、顧客に補償を約束する場合は、その都度、担当者による確認が必要になる可能性があります。IT 部門でも、まず AI Agent に脆弱性情報の整理やテスト内容の準備を行わせることはできますが、本番環境へデプロイする際には、従来の変更管理とセキュリティ管理を引き続き遵守しなければなりません。最初のステップは、プロセスを具体的な操作に分解し、自動実行できるものと承認を待つべきものを一つずつ明示することです。
4つの質問で、AI Agent をどこで止めるかを判断する
同じ業務でも、企業によって想定される影響は異なります。そのため、事業部門、データ所有者、IT 部門、情報セキュリティ担当者が共同で次の4つの質問に答え、その回答を操作分類表に記載することを推奨します。
- どのような機密データにアクセスするか？ AI Agent は、平文のカード会員データ、個人情報、パスワード、平文の暗号鍵にアクセスするでしょうか。PCI SSC の推奨事項は明確です。AI システムはパスワードや平文の暗号鍵を処理、生成、管理すべきではありません。また、平文のカード会員データを扱う操作には、担当者による明示的な承認が必要です。
- どのような人やシステムに影響するか？ 社内の従業員のみが参照する情報と、顧客、サプライヤー、規制当局へ直接送信する情報とでは、負うべき責任が異なります。社外向けの見積提示、正式な回答、一般公開するコンテンツについては、その都度承認を得ることを推奨します。
- 誤った場合に復元できるか？ 下書きは削除したり作り直したりできますが、本番システムの変更、支払いの実行、修正プログラムのデプロイは、復元コストも想定される影響も大きくなります。企業はまず、読み取り専用の照会、データ整理、下書きの作成を AI Agent に任せ、その後、どの実行権限を付与できるかを段階的に評価できます。
- ルールを明確に定義できるか？ 金額の上限、データソース、例外条件、承認者の役割を明確に定められる場合に限り、事前承認が適しています。条件が不明確な場合、データ間に矛盾がある場合、数値がしきい値を超えた場合には、その業務を指定された担当者へ引き継ぐ必要があります。
操作分類表には、少なくともデータの機密性、影響範囲、誤操作後の復元可否、承認責任者を記録する必要があります。分類が完了したら、まず既存のプロセスを一つ選んで実際にテストしてください。最初から部門全体の業務を AI Agent に任せるべきではありません。
承認画面は管理者が理解できる内容にし、操作記録も残す
承認画面には、AI Agent が次に何を行うのか、どのデータを使用したのか、どのシステムに影響するのか、承認後に取り消せるのかを承認者が明確に把握できるだけの情報を表示する必要があります。画面に結論と「承認」ボタンしか表示されていなければ、管理者は前提条件が正しいかどうかを確認できません。異常が発生した場合も、どの段階で問題が生じたのかを特定することが困難になります。たとえば、社外向け見積もりの承認画面には、価格設定の根拠、例外条項、送付先を表示できます。本番環境の変更申請には、テスト結果、影響範囲、復元方法を添付する必要があります。
企業はワークフローに合わせ、各種権限も個別に設定しなければなりません。データ収集を担当する AI Agent には、読み取り権限だけを付与できます。変更内容を準備する AI Agent に、本番環境へのデプロイ権限まで同時に与える必要はありません。また企業は、部門、職務、タスクに応じて、使用できる機能と閲覧できるデータを個別に設定する必要があります。導入初期は、読み取り専用権限と必要最小限のデータ範囲から始め、データ所有者と情報セキュリティ部門が四半期ごとに共同で見直し、不要になった権限を取り消すことができます。
企業が EgentWrX を使用する場合、ワークフローが次の段階へ進む前に、人による承認ゲートを設定できます。AI Agent は前半の作業を完了するといったん停止し、担当者による承認を待ちます。また、プラットフォームでは組織内の役割に応じて、使用可能な機能と閲覧可能なデータを階層的に設定でき、検索可能で完全性を検証できる操作記録も残せます。企業はこれらの仕組みを活用し、人がどのように関与し、いつ承認するのかをワークフローに直接組み込めます。プロジェクトのプレゼンテーション資料に記載するだけで終わることはありません。
すべてのワークフローに事業責任者と技術責任者を指定し、実行記録と承認記録を定期的にサンプリング調査する必要があります。また、異常な操作、承認プロセスの漏れ、高リスクデータへのアクセスを、既存のインシデント対応プロセスに組み込まなければなりません。企業は、正式に導入した AI システム、シャドー AI（Shadow AI）、サードパーティーの AI サービスを棚卸しし、AI システム台帳と AI 部品表（AI-BOM）を整備する必要もあります。社内でどのツールが使用されているのかさえ把握できていなければ、どれほど整備された承認制度にも抜け漏れが生じます。企業は今すぐ、機密データにアクセスする、または社外への確約を伴うプロセスを一つ選び、操作、権限、承認者、記録という4つの項目を洗い出したうえで、最初の人による承認ゲートをどこに設けるべきかを判断できます。
よくある質問
すべての AI Agent の操作について、その都度、人による承認が必要ですか？
必要ありません。読み取り専用の照会、社内データの整理、誤っても復元できる下書きは、評価したうえで事前承認の範囲に含められます。一方、平文の機密データへのアクセス、社外へのコンテンツ公開、支払いの実行、本番環境の変更を伴う操作については、その都度、担当者による承認を得て、最終責任者を指定することを推奨します。
人による監督と人による介入は、どのように異なりますか？
人による介入では、AI の各タスクについて適切な担当者の承認が必要です。人による監督では、AI Agent が事前承認された範囲内で処理を実行し、担当者がその実行状況を継続的に監督します。人による監督を採用する場合でも、企業は自動実行できる範囲を事前に定め、最終責任者を指定する必要があります。
操作分類表には、最低限どのような項目が必要ですか？
少なくとも、操作内容、データの機密性、影響範囲、誤操作後の復元可否、必要な権限、承認者の役割を記載する必要があります。チームは例外条件や停止方法を追加し、データの矛盾、条件の不明確さ、しきい値の超過が発生した場合に、指定された担当者へ処理を引き継げるようにすることもできます。
従業員が独自に使用している生成 AI ツールには、どのように対応すればよいですか？
まず、正式に導入したシステム、シャドー AI、サードパーティーの AI サービスを棚卸しし、利用部門、データの種類、接続範囲、責任者を記録したうえで、継続的な監視とインシデント対応プロセスに組み込みます。台帳を整備することで、企業は既存の承認プロセスを回避している利用方法を特定できるようになります。
参考資料
- PCI SSCが決済環境向けAIセキュリティガイダンスを公表、AI Agentによる平文のカード会員データへのアクセスには人による承認が必要 — iThome による、PCI SSC の決済環境向け AI セキュリティ補足情報文書および関連する推奨事項の概要。
