営業担当者が AI Agent に見積書の整理を依頼したものの、提示された数値が正しくない。調達担当者が AI Agent にサプライヤーの条件比較を依頼したところ、使用すべきでないデータが引用されていた。企業がユーザーの最初の入力内容と最終回答しか残していなければ、事後に確認できるのは最初と最後だけです。途中でどのツールを呼び出し、どのようなデータを取得し、どの順序で操作したのかは、追跡できない可能性があります。
iThome の報道によると、Cisco がオープンソース化した AI Agent 行動検知ツール Project Quarry は、ツールの呼び出し、ツールの実行結果、各操作の順序を分析し、セキュリティチームによる不審な行動の特定を支援します。同記事では、企業が入力内容と最終回答しか保存していない場合、こうした記録だけでは操作プロセス全体を再現できない可能性があるとも指摘しています。そのため、企業は AI Agent を導入する前に、まず一つの点を確認しなければなりません。現在保存しているデータで、IT、セキュリティ、監査の各担当者が業務プロセス全体をあらためて検証できるでしょうか。
監査記録から少なくとも確認できるべき3つの事項
一つ目は、AI Agent がどのような操作を行ったかです。ユーザーからの依頼内容と最終成果物だけでなく、ツールの呼び出しとツールから返された結果も保存する必要があります。そうしなければ、問題が発生した際に、モデルの判断が誤っていたのか、正しいデータを取得できなかったのか、後続のツール実行に失敗したのかを確認することが困難です。たとえば調達先の価格比較で、最終的な表からサプライヤーが1社抜けていた場合、完成した表を見るだけでは、検索時に見落としたのか、接続時にデータを取得できなかったのか、データ整理時に誤って1行削除したのかを確認できません。
二つ目は、各操作の実行順序です。AI Agent は複数のステップを連続して実行するため、同じツールとデータを使用していても、順序が異なれば結果も変わる可能性があります。そのため、タスクごとに時刻とステップの記録を残し、調査担当者が最初からエラー発生箇所まで順に追跡できるようにする必要があります。断片的な記録を手掛かりに前後関係を推測するような状況は避けるべきです。
三つ目は、誰が記録を閲覧またはエクスポートしたかです。監査データには社内の業務内容が含まれる可能性があるため、企業は AI Agent が何を行ったかだけでなく、誰がこれらの記録にアクセスしたかも把握する必要があります。IT、セキュリティ、監査の各部門が共同で、記録の保存範囲、閲覧方法、エクスポート手順、確認頻度をあらかじめ定めたうえで、実際のタスクを一つ選んで演習を行い、「何をしたのか」「どのような順序だったのか」「誰が閲覧したのか」という3つの問いに答えられることを確認するとよいでしょう。
EgentWrX の監査ログは55種類のリソースタイプを対象としており、エクスポートセンターから出力できます。また、ハッシュチェーン（hash chain）を利用して、前後の記録が改ざんされていないかを確認できます。管理者が監査記録をダウンロードした場合も、その操作がシステムに記録されます。プラットフォームには閲覧、エクスポート、検証の仕組みが用意されていますが、企業側でも、どの部門が確認を担当するのか、どの程度の頻度で確認するのか、異常を発見した場合に誰が対応するのかを、あらかじめ決めておく必要があります。
完全な記録を残した後も、AI Agent がアクセスできるデータを制限する
完全な記録は事後の追跡に役立ちますが、事前の権限制限に代わるものではありません。Quarry は、ツールから返された内容にプロンプトインジェクション（prompt injection）の指示が含まれていないかを検査できます。これは、外部コンテンツに埋め込まれ、AI Agent の行動を変えようとする指示です。また、AI Agent が当初のタスクから逸脱していないかも検査できます。しかし企業は、検知ツールが警告を発してから、不要な接続権限や書き込み権限に対処するのでは遅すぎます。
プロジェクトチームは、まずタスクごとに接続先リストを作成し、AI Agent が読み取る必要のある社内データベース、利用する必要のある外部サービス、各接続で必要となる読み取り権限または書き込み権限を明記できます。営業担当者が見積書を作成する際に過去の注文を照会するだけでよいのであれば、プロジェクトチームは読み取り専用権限のみを付与し、注文を変更する権限まで開放すべきではありません。AI Agent が品質管理業務を行う際に公開ウェブサイトを利用する必要がなければ、外部接続を許可する必要もありません。
管理職はプロジェクトチームに対し、直接次のように問いかけることができます。このデータソースは本当に不可欠なのか。AI Agent はデータを読み取るだけでよいのか、それとも本当に書き込みが必要なのか。この外部ドメインはタスクと直接関係しているのか。チームが明確に説明できない場合は、いったん許可を見送り、担当部門が用途を説明してから判断します。すでに許可している接続についても定期的に確認し、業務上引き続き必要かを検証する必要があります。
異常を検知したら、プロセスを即座に停止できるようにする
Cisco の利用ドキュメントによると、企業は既存の AI Agent 実行記録を使用して検知ルールをテスト、調整し、正常な操作が誤検知されるケースを減らすことができます。また、AI Agent のタスク実行中にセキュリティチェックを組み込むことも可能です。つまり、企業は本稼働前に検知ルールを一度設定して終わりにするのではなく、実際の記録を継続的に使ってテストし、どこまでが正常な業務で、どのような状況で人の介入が必要になるのかを明確にする必要があります。
システムが警告を送るだけで、AI Agent が外部へのデータ送信や次のステップの実行を続けるのであれば、セキュリティ担当者が事後に記録を確認しても阻止できません。企業はまず、金額、外部送信、不明確な条件、責任の移転に関わるステップを洗い出し、それぞれについて承認者、承認条件、差し戻し方法を指定できます。リスクの低いデータ整理作業は自動的に継続できますが、高リスクのステップに達した場合はワークフローをいったん停止し、権限と責任を持つ担当者の確認を得てから次に進む必要があります。
EgentWrX による社内データベースとの連携は読み取り専用で、書き込みはできません。外部接続はデフォルトですべて拒否され、各タスクの必要性に応じてドメインを一つずつ許可します。ワークフローには、引き継ぎ前の人による承認を必須とする設定も可能です。これにより、AI Agent が前段の作業を終えた時点でいったん停止し、承認を待つことができます。企業はまず実際の業務プロセスを一つ選んで演習を行い、記録から警告が発せられた理由、承認者、承認後に実行された操作を明確に確認できるかを検証できます。いずれかの部分を追跡できない場合は、利用範囲を急いで拡大するのではなく、まず記録または承認方法を整備すべきです。
よくある質問
プロンプトと最終回答だけを保存して、AI Agent を監査できますか？
完全な監査はできません。プロンプトと最終回答で確認できるのは、タスクの開始点と終了点だけです。ツールの呼び出し、ツールから返された結果、操作順序が保存されていなければ、調査担当者はどのステップで問題が発生したのかを確認しにくく、AI Agent が当初のタスクから逸脱したかどうかも判断できません。
AI Agent の操作記録には、少なくともどのような内容を含めるべきですか？
少なくとも、ユーザーの入力、最終回答、ツールの呼び出し、ツールから返された結果、操作順序、記録を閲覧またはエクスポートした人物に関する情報を保存する必要があります。また、企業は同じタスクの前後のステップを関連付けられる識別情報を用意し、実際のタスクを使ってテストすることで、調査担当者がプロセス全体を最初から再現できるかを確認する必要があります。
完全な監査記録があっても、接続を制限する必要がありますか？
必要です。記録は事後の追跡に使用するものであり、接続制限は AI Agent がアクセスおよび変更できるデータの範囲を事前に限定するためのものです。社内データベースにはまず読み取り専用権限を適用し、外部ドメインへの接続はデフォルトで拒否したうえで、各タスクの実際の必要性に応じて一つずつ許可できます。
不審な行動を検知したら、AI Agent を直ちに停止すべきですか？
高リスクのステップに達した場合は、いったん停止して担当者の確認を待つべきです。企業は、金額の上限超過、外部への送信、条件の不明確さ、責任の移転などのケースをあらかじめ洗い出し、承認者、承認条件、差し戻し方法を指定できます。リスクの低いステップを継続するかどうかは、社内規程に従って判断します。
参考資料
- CiscoがAI Agent検知ツールQuarryをオープンソース化、多段階の操作を分析して不審な行動を特定 — iThome による、Cisco Project Quarry で必要となる操作記録と検知方法に関する報道。
