← パースペクティブに戻る
/Intellicon FDE Team

導入時には正常だったツールが、なぜ後から悪意ある操作を実行する可能性があるのか?

提供元が記述したツールの説明によって、AI Agent が当初の実行計画を変更する可能性があります。接続後も変更内容を継続的に確認し、外部への接続を制限するとともに、メモリへの書き込みや異常発生時の対応ルールを定める必要があります。

AIEgentWrX導入人機協作
導入時には正常だったツールが、なぜ後から悪意ある操作を実行する可能性があるのか?

ツールを接続した直後は、AI Agent が指示どおりにデータを検索し、導入担当者も結果を確認できていました。しかし、その後に提供元がツールの説明を書き換えた場合、社内でその変更に気づく人はいるでしょうか。また、利用を続けてよいかは誰が判断すべきでしょうか。AI Agent は、提供元が記述した説明に基づいてツールを選びます。そのため、企業が MCP(Model Context Protocol)などのプロトコルを通じてツールを接続する際は、導入時に問題がなかったからといって、その後も安全だと考えることはできません。

Intellicon Solutions は、セキュリティチェックを受け入れ検証で終わらせず、日常の運用でも継続的に管理する必要があると考えています。ツールに変更があれば担当者が再確認し、外部への接続は承認された用途に限定するとともに、長期保存されるメモリにも管理責任者を置く必要があります。モデル自体が安全性に関する学習を受けていても、企業はツールがどのデータを読み取れるのか、データをどこに送信できるのか、どの操作に事前の同意が必要なのかを確認すべきです。

導入後にツールが変更された場合、当初の確認だけで十分か?

iThome の報道によると、米国国立標準技術研究所(NIST)が公開した攻撃分類の草案では、攻撃者が最初は正常な MCP サーバーを提供し、利用者による導入後にツールの説明を書き換えることで、利用者の同意を再度得ることなく、AI Agent に悪意ある操作を実行させる可能性が指摘されています。草案では、ツールの説明に悪意ある指示を埋め込み、AI Agent によるツールの選択や実行手順の組み立てに影響を与える、ツールポイズニング(Tool Poisoning)という手法も紹介されています。草案が引用する研究によると、モデルが安全性に関する学習を受けていても、攻撃者が正規のツールインターフェースを通じて悪意ある操作へ誘導する攻撃を防ぐには不十分です。

草案では、暗号署名(cryptographic signatures)と変更不可能なバージョン識別子を使ってツール定義の出所とバージョンを検証し、サンドボックス(sandbox)によって隔離された環境でツールを実行することを推奨しています。ただし、この文書はまだ意見公募中の草案であり、報道にも攻撃の成功率や企業の被害事例は示されていません。そのため、すべてのツールに問題があると判断することはできません。企業はこれらの推奨事項を参考に、受け入れ検証時に提供元へ説明を求める項目を整理できます。

IT 部門には、ツールの一覧を作成し、提供元、業務上の用途、読み取り可能なデータ、接続が必要な外部ドメイン、再確認の担当者をツールごとに記録することを推奨します。そのうえで、ツール定義の検証方法や実行環境の隔離方法について、提供元に根拠を示してもらう必要があります。更新時の通知方法や変更内容の比較方法も確認し、「接続に成功した」という回答だけで済ませないことが重要です。

ツールの説明、データへのアクセス範囲、外部への接続に変更があった場合は、まず IT 部門が変更内容を確認し、次に業務責任者が用途を確認することを推奨します。確認が完了するまでは、影響を受ける作業を一時停止すべきです。利用を再開する前に、従来の業務シナリオで再度テストし、許可範囲を超えたデータの読み取りや、未承認の操作が追加されていないことを確認します。

読み取り専用でも、なぜ外部への接続を管理する必要があるのか?

たとえば、購買部門が AI Agent に過去の仕入れ価格を調べさせ、価格比較に基づく提案をまとめさせる場合を考えてみましょう。この作業にはデータの読み取りが必要ですが、購買記録の変更や、価格一覧全体の外部サービスへの送信まで許されるわけではありません。このようなケースでは、ワークフローを設計する際に、業務部門の責任者が必要なデータと許可する用途を先に洗い出し、その一覧に基づいて IT 部門がアクセス範囲を設定することを推奨します。

EgentWrX を例に挙げると、外向き通信の許可リスト(egress allowlist)は、デフォルトですべての外部接続を拒否し、管理者がドメインごとに接続を許可する仕組みです。また、「社内データベース」連携は読み取り専用で、書き込みはできません。企業はこれらの仕組みで操作範囲を制限できますが、すべての MCP ツールがデータベース連携と同じく読み取り専用であるとは限りません。また、外部への接続を制限したからといって、ツール定義の検証やサンドボックスによる隔離を省略することもできません。

読み取り専用にすればデータの変更は制限できますが、情報の流出まで防げるとは限りません。そのため、IT 部門は検索結果をどの接続許可済みサービスへ送信できるかも確認し、業務部門の責任者は、どの項目を誰に提供してよいかを承認する必要があります。ワークフロー上、社外へのデータ送信が必要な場合は、送信先と内容を事前に人が確認する手順を設けるべきです。あるドメインへの接続が許可されているというだけで、すべての検索結果をそこへ送信してよいことにはなりません。

蓄積するメモリに異常が見つかったら、どう対処すべきか?

一度の攻撃が、その後のタスクにも影響を及ぼす可能性があります。前述の報道で取り上げられた草案では、攻撃者が長期メモリに悪意ある内容を残す可能性が指摘されています。また、業務データの蓄積に伴い、AI Agent がそれまでの指示や制約を次第に守らなくなる可能性もあります。そのため、日常の点検にはメモリの内容も含め、特に後続の業務判断に影響する記録を確認することを推奨します。

たとえば、購買担当者がある緊急案件で例外的な許可を得た場合、企業は AI Agent がその特例を、今後も常に適用できるルールとして記憶しないか確認すべきです。業務部門の責任者と IT 部門が共同でメモリへの書き込みルールを定め、社内規定、機微な背景情報、後続の判断に影響する内容について、誰が何を根拠に確認し、保存の可否を判断するのかを明確にすることを推奨します。

EgentWrX では、利用者がメモリを閲覧、修正、削除できるほか、直接書き込み、レビュー必須、承認必須といった段階別のポリシーも設定でき、企業は内容のリスクに応じて管理方法を選べます。ただし、こうした管理機能があるからといって、メモリポイズニング(memory poisoning)を自動で検知できるわけではありません。メモリポイズニングとは、後続の業務を誤った方向へ導く悪意ある内容をメモリに書き込む行為であり、責任者による内容と出所の確認は依然として必要です。

AI Agent が複数のタスクで継続的に異常な動作を示す場合は、まず関連する作業を一時停止し、問題が発生した際の状況を記録して疑わしい内容を保全したうえで、責任者がメモリを確認、修正、削除し、同じ条件で再テストすることを推奨します。草案では、モデル自体や、その後のモデル調整に用いる部分がポイズニングの影響を受けている場合、システムの再起動や復元でも問題を除去できない可能性があると注意を促しています。そのため、異常が続く場合は IT 部門と提供元に調査を依頼し、メモリを削除しただけでリスクが解消したと判断しないことが重要です。

よくある質問

MCP ツールの導入時にテストが正常に完了すれば、セキュリティの受け入れ検証は十分ですか?

いいえ、十分ではありません。攻撃者が導入後にツールの説明を変更する可能性があるため、当初のテストだけでは後続のバージョンの安全性まで証明できません。変更の確認担当者を指定し、提供元にバージョン情報と更新履歴の提出を求めたうえで、実際の業務シナリオに沿って再検証することを推奨します。

データベースを読み取り専用にすれば、情報流出を防げますか?

いいえ、読み取り専用が制限するのはデータの変更であり、読み取ったデータが外部へ送信されないことを保証するものではありません。データベースへの書き込みが禁止されているかだけでなく、ツールがどの項目を読み取れるか、検索結果をどのサービスへ送信できるか、送信前に誰が内容を確認するかも確認する必要があります。

異常が見つかった後、メモリを削除したり再起動したりすれば、利用を再開できますか?

いいえ、メモリの削除や再起動だけでは、リスクが解消したとは判断できません。まず関連する作業を一時停止し、異常が発生した際の状況を記録して、疑わしいメモリに対処した後に再テストすることを推奨します。問題が続く場合は、IT 部門と提供元にほかの原因の調査を依頼してください。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証