情報システム部門が AI Agent にプログラムの修正を依頼し、すべてのテストに合格したため、責任者も承認する準備を進めていました。しかし、シニアエンジニアがあらためて確認したところ、AI Agent が社内で使用を禁止されているアプリケーション・プログラミング・インターフェース（application programming interface、API）を呼び出していたことが判明しました。プログラム自体は実行できても、その方法が社内規定に違反していたのです。チームが検収時に「完了したか」だけを確認していると、このような問題は納品後まで発見されない可能性があります。
Microsoft は先日、オープンソースの評価プラットフォーム「Scope」を公開しました。これは、さまざまな AI 開発ツールに指定したタスクを実行させ、ソフトウェア開発キット（software development kit、SDK）、API、その他の関連ツールが正しく使用されているかを検証するものです。同プラットフォームには、モデル、バージョン、ツール設定、操作記録、テスト結果が保存されます。ただし、設定が完全に同じでも実行結果は毎回異なる可能性があり、自動チェックで誤判定が発生することもあります。そのため Microsoft は、テストを繰り返し実施し、人が操作記録を確認することを推奨しています。このニュースは、企業が AI Agent を検収する際には、結果だけでなく、ルールに従って実行されたかを確認し、監査可能な完全な記録を残す必要があることを明確に示しています。
「どのように実行すれば規定準拠となるか」を、項目ごとに確認できる条件として定義する
社内規定に「標準プロセスに従って処理する」としか書かれていない場合、人であれば不明点を確認できますが、AI Agent には判断するための十分に明確な根拠がありません。たとえば、購買時の相見積もりでは、「比較を完了する」という指示だけでは最終的な成果物しか示されず、参照可能なサプライヤー情報、項目ごとに照合すべきフィールド、情報が不足している場合に処理を停止するのか続行するのかが明確ではありません。ルールが不明確であれば、形式の整った比較表が作成されても、責任者は実行プロセス全体が要件に適合しているかを確認できません。
そのため、完了基準では少なくとも、使用可能なデータとツール、禁止される方法、タスクの完了を判定する条件という3点を明確にする必要があります。確認項目に順序がある場合は、その関係も明記しなければなりません。たとえば、最初にプログラムが正常にビルドされたことを確認し、その後で SDK の初期化と統合テスト（integration testing）を検証することで、後段のテストに合格したという理由だけで、前段ですでに発生していたエラーを見落とす事態を防げます。これらの条件は、最初からすべての例外を網羅する必要はありません。ただし、各条件は、審査担当者が「承認」または「差し戻し」を判断できるレベルまで明確にし、個人の感覚だけに依存しないようにする必要があります。
まずは、SDK、API、ツールに関する代表的な誤用を5種類整理し、それぞれについて適用条件、許可される方法と禁止される方法、判定条件を記述したうえで、よくあるタスクを1つ選んで試行するとよいでしょう。開発担当者とセキュリティ担当者の間で同じルールの解釈が異なる場合は、AI Agent の適用範囲を拡大する前に、ルールを明確化する必要があります。
同じルールを繰り返し適用し、曖昧または高リスクな状況では人による承認を必須にする
規定を文書ライブラリに登録していても、質問の仕方や前後の文脈によっては、AI Agent が適用すべきルールを使用しない可能性があります。同じ状況に遭遇するたびに AI Agent が同一の方法で処理できるようにするには、シニアメンバーの判断をスキル（AI Skill）として整理し、適用条件、実行手順、禁止事項、差し戻しが必要な条件を明記する必要があります。ルールを更新した後も、チームは各バージョンを保存し、同じタスクを使って再テストしなければなりません。これにより、エラーが偶発的なものなのか、変更後も繰り返し発生しているのかを確認できます。
EgentWrX では、企業がシニアメンバーの判断を AI Skill として定義し、条件に該当する状況で AI Agent に使用させることができます。従業員が作成したスキルを全社で利用可能にするには、事前に管理画面での審査が必要です。審査では文章のわかりやすさだけを見るのではなく、開発担当者とセキュリティ担当者が共同で、使用するツール、アクセス可能なデータ、明確に禁止される方法を確認し、承認後に初めて他の従業員へ公開します。
スキルを使えば、AI Agent に一定の方法でタスクを実行させられますが、あらゆる例外を事前に列挙することはできません。社内ネットワーク上のデータへのアクセスや権限変更が必要な場合、またはルールが十分に明確でない場合は、指定された担当者による確認が必要です。EgentWrX では、タスクのワークフローを次の担当へ引き継ぐ前に、人による承認を設定できます。AI Agent が前段の作業を完了すると、プロセスはいったん停止し、人が確認した後に続行されます。承認条件についても、確認すべき根拠資料、承認権限を持つ担当者、差し戻しが必要となる条件を具体的に定義する必要があります。そうしなければ、承認作業が形骸化しやすくなります。
試験導入では、まず既存のプロセスを1つ可視化し、各引き継ぎ時に受け取るデータと提出する成果物を明示します。そのうえで、各工程を「自動実行可能」「人による承認が必須」「完了後に人が抜き取り確認」の3種類に分類します。次に、承認ポイントごとに担当者を指定し、差し戻し条件を明確にします。プロセス全体の自動化を追求するあまり、必要な人の判断を排除してはいけません。
記録を保存するだけでなく、当時の実行プロセスを再現できるようにする
AI Agent がエラーを起こした際に、チームが「成功」または「失敗」という結果しか残していなければ、原因がルール、ツールの選択、自動チェック、人による承認のどこにあるのかを特定することは困難です。監査に使用できる記録には、当時使用したモデルとバージョン、ツール設定、実行手順、テスト結果、承認操作を、少なくとも一連の流れとして追跡できる情報が必要です。文書やツールを変更した後に同じタスクで再テストすることで、初めて変更前後の差異を比較できます。
ただし、記録が存在するからといって、その中の判定が必ず正しいとは限りません。自動チェックが条件を満たしていない結果を合格と判定する可能性もあれば、人が重要な手順を見落とす可能性もあります。そのため、企業は引き続き抜き取り確認を実施する必要があります。実行に失敗した案件や人が差し戻した案件を例外レビューの対象に含め、AI Agent が行った操作、参照したルールのバージョン、要件から逸脱し始めた手順を確認したうえで、スキル、ワークフロー、完了条件のいずれを修正すべきか判断することを推奨します。確認項目が標準化されていなければ、どれだけ多くの記録を残しても、後から調査する時間が増えるだけです。
EgentWrX の監査ログは55種類のリソースタイプに対応しており、ハッシュチェーン（hash chain）によって記録の完全性を検証できます。また、エクスポートセンターから監査ログを出力でき、管理者が監査記録をダウンロードした操作自体も記録されます。こうした仕組みにより、IT、セキュリティ、監査の各担当者は調査に必要なデータを利用できます。ただし、企業側では、誰が確認を担当するのか、どの程度の頻度で抜き取り確認を実施するのか、差異が見つかった場合に誰がルールを修正するのかを、あらかじめ決めておく必要があります。
初回の検証では、よくあるタスクを1つ選び、チームが記録を基に次の4つの質問へ回答できるかを確認します。AI Agent はどのバージョンのルールに従って実行したか、どのツールを使用したか、誰が承認したか、記録の完全性をどのように検証したか、という4点です。1つでも回答できない場合は、該当するスキル、承認ポイント、ログ設定を補完してから、利用範囲の拡大を検討する必要があります。
よくある質問
プログラムがテストに合格していれば、AI Agent が社内規定に準拠していると言えますか？
いいえ。テストへの合格は、結果が一部の条件を満たしていることを証明するにすぎず、AI Agent が会社指定の API、SDK、ツールを使用したことまでは証明できません。検収時には、ルールのバージョン、ツール設定、操作記録も照合し、実行方法が社内要件に準拠していることを確認する必要があります。
どのような AI Agent の操作に人による承認を設定すべきですか？
社内ネットワーク上のデータへのアクセスや権限変更が必要な場合、または引き継ぎポイントのルールが十分に明確でない場合は、人による承認を優先的に設定すべきです。また、誰が承認するのか、どの根拠を確認するのか、どのような場合に差し戻すのかを明記し、審査担当者が確認すべき内容を把握できるようにする必要があります。これにより、すべての手順で承認を要求したり、最終的に形式上「承認」を押すだけになったりする事態を避けられます。
同じ設定で何回再実行すれば、問題が繰り返し発生していると判断できますか？
すべてのタスクに適用できる一律の回数はありません。まず、タスク、モデルのバージョン、ツール設定、完了条件を固定して複数回実行し、同じ種類のエラーが繰り返し発生するかを比較することを推奨します。企業は、タスクのリスクと実行ごとの結果の差異に基づき、独自のテスト回数と人による抜き取り確認の方法を定めることができます。
監査記録には、最低限どのような情報を保存すべきですか？
少なくとも、ルールのバージョン、モデルとツールの設定、操作手順、テスト結果、人による承認記録を確認できる必要があります。また、記録をエクスポートできることと、その完全性を検証できることも確認しなければなりません。これにより、異常発生時に実行手順を再現し、修正が必要なルールやワークフローを特定できます。
参考資料
- MicrosoftがScope評価プラットフォームをオープンソース化し、AIプログラミングエージェントのタスク性能を追跡 — iThome による、Microsoft がオープンソース化した Scope の用途、操作方法、制約に関する報道。
