近年、AI アプリケーションの発展に伴い、企業では AI Agent に契約書を読ませたり、顧客対応や見積書の整理を任せたりするようになり、AI が接するデータの範囲も拡大しています。
IBM は、2025年の「Cost of a Data Breach Report」で初めて AI に関連するセキュリティとガバナンスの状況を調査しました。その結果、組織の 13% が AI モデルまたはアプリケーションへの侵害を経験しており、そのうち 97% が適切な AI アクセス制御を導入していなかったことが明らかになりました。OWASP も、プロンプトインジェクションと機密情報の漏えいを、大規模言語モデルを利用するアプリケーションのリスク一覧における第1位と第2位に挙げています。
AI の活用が高度化するほど、企業はアプリケーションとモデルの間に検査ゲートを設ける必要があります。それが AI Gateway です。このゲートをあらかじめ整備してこそ、AI Agent に実際の業務データを安心して扱わせることができます。
AI Gateway とは？なぜコンテンツ保護が最も重要なのか？
AI Gateway（AI ゲートウェイ）は、企業のアプリケーションと AI モデルのプロバイダーとの間に設置される統一された入口です。 モデルへのすべての呼び出しがまず AI Gateway を通過し、必要な処理を行ったうえでモデルへ送信され、使用量の管理やログの記録も行われます。
AI Gateway の主な機能には、API エンドポイントの統一、ルーティングとフェイルオーバー、キャッシュとレート制限、コスト追跡、コンテンツ保護（Guardrails）などがあります。前半の機能は主にコストと安定性に影響するもので、設定が最適でない場合でも、多くは費用や待ち時間が多少増える程度です。
一方、コンテンツ保護が扱うのは、データと企業の信用です。顧客の個人情報が外部モデルに送信されたり、AI が文書内に隠された指示に誘導されたりすると、事後の対応は極めて困難です。以下では、専門機関のレポートをもとに、コンテンツ保護によって防ぐべき2つの主要なリスクを整理します。
リスク1：従業員のセキュリティ意識不足により、機密データが AI に送信される
Cyberhaven は、「2026 AI Adoption & Risk Report」で企業と従業員による AI の利用状況を分析し、AI とのやり取りの39.7%に機密データが含まれていることを明らかにしました。その形態には、プロンプトへの入力、コピー＆ペースト、ファイルのアップロードが含まれます。
従業員は平均して3日に1回、機密データを AI ツールへ入力しています。
同レポートでは、個人アカウントを通じた利用も相当な割合を占めていると指摘しています。たとえば、ChatGPT の利用の32.3%は個人アカウントによるものです。個人アカウントは、企業のシングルサインオン（SSO）、集中ログ管理、データ保持ポリシーを迂回するため、セキュリティチームはデータの流れを把握できず、リスクを管理することもできません。
IBM の調査は、インシデントの結果という別の側面を示しています。調査対象となった組織の5社に1社が、「シャドー AI」（shadow AI：従業員が承認を得ずに使用する AI ツール）によるデータ漏えいを経験していました。シャドー AI の利用度が高い組織では、利用度が低い、または利用がない組織と比べ、データ漏えいによる平均コストが 67万米ドル高くなっています。
この種のインシデントでは、機密データに被害が集中する傾向も見られます。IBM の統計によると、シャドー AI が関係するインシデントのうち、個人識別情報が漏えいした割合は65%で、全体平均の53%を上回りました。知的財産が漏えいした割合も40%に達し、平均の33%を上回っています。
OWASP も、「機密情報の漏えい」の項目で個人情報の漏えいを一般的なケースとして挙げ、データがモデルで処理される前に、パターンマッチングなどの技術を用いて機密情報を検出し、マスキングすることを推奨しています。これはまさに、AI Gateway のコンテンツ保護が「送信時」に担うべき役割です。
リスク2：外部コンテンツに隠されたプロンプトインジェクション
プロンプトインジェクション（Prompt Injection）とは、入力されたコンテンツによって大規模言語モデルの動作や出力が本来の設計から逸脱するセキュリティ上の脆弱性です。 OWASP は、これを LLM アプリケーションにおける最大のリスクに挙げています。
OWASP は、プロンプトインジェクションを次の2種類に分類しています。
- 直接インジェクション：ユーザー自身が入力したコンテンツに由来するもの。意図的な攻撃の場合もあれば、意図せず発生する場合もあります。
- 間接インジェクション：Web サイトやファイルなど、モデルが読み込む外部ソースに由来するもの。
間接インジェクションは、企業の AI Agent に特に大きな影響を与えます。AI Agent の業務には、Web ページの閲覧、ナレッジベースの検索、顧客やサプライヤーから送られた文書の処理が含まれます。こうした外部ソースの一つひとつに、指示が仕込まれている可能性があります。
OWASP は、プロンプトインジェクションの内容は人間に見える必要がなく、モデルが解析できれば機能する可能性があるとも警告しています。一見すると正常な見積書や Web ページに、人間の目には見えなくてもモデルが従ってしまう指示が埋め込まれていることがあります。
AI Agent が情報の検索、メールの送信、システムへの書き込みを行える場合、誤誘導による影響は単なる誤回答にとどまらず、実際の操作にまで拡大します。そのため、Web ページ、ナレッジベース、ツールから取得した外部コンテンツについても、AI が読み込む前に検査する必要があります。
なぜプロンプトと従業員向けルールだけでは防げないのか？
多くの企業では、最初の対策として、システムプロンプトに「個人情報を出力しない」と記載したり、顧客データを AI に入力しないよう従業員に求めたりしています。
OWASP は、システムプロンプトで出力可能なデータの種類を制限することは、確かにリスクの低減に役立つとしています。しかし、コンテキストの情報量が増えると、こうした制限が必ずしも守られるとは限らず、プロンプトインジェクションによって回避される可能性もあります。
制度面の不備も明らかです。IBM のレポートによると、侵害を受けた組織の 63% は AI ガバナンスポリシーをまだ策定していないか、策定途中の段階にありました。全体で見ると、AI の管理またはシャドー AI の検出に関するポリシーを整備している組織は37%にすぎません。AI を全面的に禁止しても、問題は解決しません。Cyberhaven の観察によれば、現在ではほぼ誰もが AI を利用しており、AI を広範囲にブロックしてもリスクが実際に低下するケースはほとんどありません。むしろ利用が正式な管理の外へ追いやられ、企業はデータの流れをさらに把握しにくくなります。
3つの資料に共通する見解は、管理をモデルの外側に置き、すべての呼び出しが必ず通過するようにする必要があるという点です。AI Gateway のコンテンツ保護はまさにこの位置にあり、モデル自身がルールに従うことにも、すべての従業員が毎回ルールを覚えていることにも依存しません。
従来型産業による AI Agent の導入にとって、これは何を意味するのか？
従来型産業の機密データは、多くの場合、見積書、注文書、顧客・サプライヤー情報、人事データ、製造工程図面など、限られた種類の文書に集中しています。AI Agent を導入する前に、前述のレポートを踏まえ、コンテンツ保護が次の要件を満たしているか確認する必要があります。
- 3つの方向を検査範囲に含める：従業員が送信するメッセージとファイル、AI が外部から取得するコンテンツ、AI の回答。特に、LINE などの外部チャネルへ直接送信される回答は重要です。
- 個人情報の分類を地域の実情に合わせる：身分証番号、統一編号、健康保険カード番号など、台湾で一般的に使われる形式をルールで識別できるようにします。
- リスクに応じた処理を行えるようにする：一般的な連絡先情報は記録のみにとどめ、身分証番号はマスキングし、キーやクレジットカード番号は直接ブロックします。一律に遮断して日常業務へ支障を与えることを避けます。
- 実行前に観察できるようにする：導入初期は記録のみを行い、ブロックはせず、誤検知が許容範囲内であることを確認してから正式に有効化します。
- 事後に追跡できるようにする：ブロックまたはマスキングされたコンテンツの記録を残し、管理者が誤検知としてマークし、必要に応じて許可できるようにします。
EgentWrX を例にすると、プラットフォームの「コンテンツ保護」モジュールは、企業のポリシーに基づいて、ユーザーのメッセージ、アップロードされたファイル、デジタル分身の回答、Web ページ、ナレッジベース、サービス窓口から返される結果を検査します。デジタル分身とは、プラットフォーム上で役職（Agent）、職責（Task）、職能（Skill）の3層構造によって構築される AI Agent です。
コンテンツ保護では、身分証番号、統一編号、銀行口座番号、健康保険カード番号、クレジットカード番号などを識別し、ポリシーに応じて記録、警告、マスキング、取り消し、ブロックを行えます。ルールだけでは検出できないプロンプトインジェクション、禁止トピック、不適切な発言については、AI 判定機能が判断します。キーと認証情報はプラットフォームの最低限の防御基準に位置づけられており、ポリシーの設定にかかわらず必ずブロックされます。
管理者は、まず観察モードでイベントを蓄積し、テスト環境で試行したうえで、確認後に実行モードへ切り替えることができます。個々のデジタル分身には、企業全体のポリシーよりも厳格な保護を設定することも可能です。まず、顧客情報や取引データを AI に扱わせる機会が多い部門を洗い出し、それらの部門からポリシーの設定を開始して、1〜2週間観察した後、段階的に全社へ拡大することを推奨します。データを守るゲートが整備されて初めて、AI Agent を実証段階から日々の業務プロセスへ移行できます。
よくある質問
従業員が個人情報を AI に入力しないよう社内で定めている場合でも、コンテンツ保護は必要ですか？
必要です。Cyberhaven のレポートによると、従業員は平均して3日に1回、機密データを AI ツールへ入力しています。また、個人アカウントを利用して企業の管理を迂回するケースも少なくありません。OWASP も、システムプロンプトに記載した制限は回避される可能性があると指摘しており、すべての呼び出しが通過する位置で管理する必要があります。
プロンプトインジェクションは、一般企業にはあまり関係のない問題ですか？
いいえ。OWASP の調査によると、間接プロンプトインジェクションは Web サイトやファイル内に隠すことができ、人間に見える必要もありません。AI Agent が Web ページ、ナレッジベース、顧客やサプライヤーの文書を読み込むのであれば、こうしたコンテンツに接触する可能性があります。
コンテンツ保護によって、通常の業務まで妨げられることはありませんか？
リスクに応じた処理と、実行前の観察を組み合わせることで、業務への影響を抑えられます。一般的な情報は記録のみにとどめ、高リスクのデータだけをマスキングまたはブロックし、導入初期は遮断せず記録だけを行います。AI を広範囲にブロックすると、かえってユーザーを管理外の環境へ追いやるおそれがあります。
AI Gateway とコンテンツ保護は同じものですか？
両者は包含関係にあります。AI Gateway はアプリケーションとモデルの間に置かれる統一された入口であり、ルーティング、フェイルオーバー、キャッシュ、コスト追跡などの機能も備えています。コンテンツ保護は、その中でデータと指示を検査する機能であり、データ漏えいと企業の信用に最も直接的に関わる要素です。
参考資料
- IBM「IBM Report: 13% Of Organizations Reported Breaches Of AI Models Or Applications, 97% Of Which Reported Lacking Proper AI Access Controls」、2025 Cost of a Data Breach Report 公式プレスリリース
- OWASP Gen AI Security Project「LLM01:2025 Prompt Injection」、非営利のセキュリティ組織による LLM アプリケーションのリスク一覧
- OWASP Gen AI Security Project「LLM02:2025 Sensitive Information Disclosure」、非営利のセキュリティ組織による LLM アプリケーションのリスク一覧
- Cyberhaven「AI Data Security Risks: 39.7% of AI Use Involves Sensitive Data」、データ漏えい防止ベンダーによる2026年版レポートの概要
