← パースペクティブに戻る
/Intellicon FDE Team

AI Agent が開発したツールの受け入れ検証では、まず4つのテスト要件を明確に

最もコスト面で有利な仕入先を選ぶ場合でも、単価で比べるか、送料込みの総額で比べるかによって答えは変わります。受け入れチェックリストには、入力データ、期待する出力、例外処理、照合の基準を明記しましょう。

AIEgentWrX人機協作導入
AI Agent が開発したツールの受け入れ検証では、まず4つのテスト要件を明確に

AI Agent に購買向けの見積比較ツールの開発を依頼したとします。デモでは見積書を読み込み、推奨する仕入先も一覧で表示できました。しかし、送料が記載されていない見積書や、異なる通貨の見積データに切り替えても、その提案を採用できるでしょうか。責任者が受け入れ検証を行う際は、デモで結果が出たかどうかだけでなく、例外が発生したときにプログラムが会社のルールに従って処理できるかも確認する必要があります。Intellicon Solutions は、まず仕様を明確に定め、チームがその仕様に沿って繰り返しテストし、結果を確認できるようにしたうえで、何体の AI Agent に作業を分担させるかを決めるべきだと考えています。

iThome の報道によると、AWS は自律型 AI Agent が開発した AWS Emulator を公開しました。エンジニアリングチームは製品コードの記述もレビューも行っていませんが、検証を省略したわけではありません。チームは既存の仕様に基づいてテストを作成し、同じ条件下でエミュレーターと実際のクラウドサービスがどう動作するかを比較しました。また、テスト、差異の特定、修正をそれぞれ別のグループに担当させています。企業はこの検証方法を参考にできますが、人によるレビューを経ない開発方式を、そのまま社内に持ち込むべきではありません。

受け入れ検証の前に、どのような結果を正しいとするかを明確にする

AWS には、照合に使える既存の仕様と実際のサービスがあります。企業が社内ツールを開発する場合も、何を基準に結果の正しさを判断するのかを先に確認すべきです。業務部門と IT 部門が共同で受け入れチェックリストを作成し、業務部門が業務ルールを確認し、IT 部門がそのルールを実行可能なテストに落とし込めるかを確認することをお勧めします。開発が完了してから、双方の要件理解が異なっていたと気づく事態を避けるためです。

購買向けの見積比較ツールを例にすると、要件が「最もコスト面で有利な仕入先を見つける」だけでは、開発者は単価、送料込みの総額、納期条件を満たす場合の総コストのどれを比較すべきか判断できません。そのため、各テストケースには以下の内容を明記し、検証担当者が同じデータを使ったときに、誰でも結果が正しい理由を説明できるようにしておくことをお勧めします。

  • 入力データ:見積書のバージョン、通貨、数量、納期を明記し、テストに使うデータを固定します。テストのたびに異なる内容を使わないようにするためです。
  • 期待する出力:何を比較するのか、結果にどの項目を含める必要があるのかを明記します。例えば、購買部門が送料込みの総額で比較すると決めた場合は、費用の内訳と計算根拠を結果に添えるよう求めるべきです。
  • 例外処理:送料が記載されていない場合や為替レートを確認できない場合は、データ不足であることを示し、購買部門に確認を委ねる必要があります。不足データを独自に仮定して、そのまま仕入先の順位を付けてはいけません。
  • 照合の基準:購買部門が確認したルールと、人が照合した結果を添付します。旧システムの結果を引き継いで使う場合も、その結果が今回の要件を満たしているかを先に確認する必要があります。

出力が文章による説明の場合は、必要な情報がそろっているか、引用が正しいか、根拠のない結論が加えられていないかを確認することをお勧めします。毎回まったく同じ言葉遣いを求める必要はありません。ただし、期待する結果について業務部門と IT 部門の見解がまだ異なる場合は、先に仕様を補足して明確にするか、試行範囲を絞るべきです。会社の購買基準を AI Agent に独自に決めさせてはいけません。

修正のたびに、実際のテスト結果を残す

デモの成功で証明できるのは、そのときの操作で提示した結果が得られたということだけです。データや状況が変わっても正しく動作するかまでは確認できません。そのため、デモに使ったデータをテストケースとして残し、項目の欠落、データの重複、サービスへの接続失敗といったケースを追加することをお勧めします。IT 部門は既存のテスト環境でプログラムを実行し、実際の出力と、その後にプログラムが行う処理を確認する必要があります。データを書き込むツールであれば、実際に書き込まれたか、内容が正しいかまで確認し、画面上の成功表示だけで判断してはいけません。

修正後は毎回、それまで失敗していたケースを再テストするだけでなく、影響を受ける可能性のある既存機能も確認すべきです。例えば、送料込みの総額の計算方法を変更した場合は、費用の項目が表示されたかだけでなく、仕入先の順位が正しいかも改めて確認する必要があります。テスト記録には、プログラムのバージョン、入力データ、期待する結果、実際の結果を残し、別の担当者でも同じように検証できるよう、テストを再現する操作手順を記載することをお勧めします。

業務部門の責任者と IT 部門は、どのような不具合があれば本番稼働を認めないかを、事前に合意しておくとよいでしょう。例えば、金額の計算誤り、権限の範囲外にあるデータの取得、必要な承認手続きの省略などです。未合格の項目は修正待ちの一覧にまとめ、どのような影響があるか、誰が修正を担当するかを明記します。報告では全体の合格率だけを示してはいけません。責任者は、未合格の項目が支払いや社外への約束に影響するかも把握する必要があるからです。

EgentWrX のスキル(Skill)は、開発前に仕様を確認する、納品時にテストケースと差異を一覧にするといった定型的な手順を整理するために利用できます。これにより、AI Agent が後で同種の作業を行う際にも、その手順を再利用できます。ただし、スキルが提供するのは作業ルールであり、実際のテストは引き続き IT 部門がテスト環境で実行すべきです。受け入れ検証では実行記録を必ず確認し、確認手順が書かれているだけで、検証に合格したと判断してはいけません。

作業を分担する前に、各グループの成果物を決める

AI Agent を増やすかどうかを決める前に、各グループの作業と責任を明確にすることをお勧めします。テストケースを整理する担当者は、入力データ、期待する結果、判断の根拠を提出します。差異を分析する担当者は、どのケースが不合格だったか、実際の結果が期待とどう異なるかを示します。修正担当者は、何を変更したか、どの機能に影響する可能性があるかを説明し、その後 IT 部門が関連するテストを再実行します。

EgentWrX はサブエージェント(Sub-agent)による作業分担に対応しています。メインの AI Agent が別の AI Agent に作業を委ねる仕組みで、頻繁に連携するメンバーをチームとして編成し、委任できる作業量の上限を設定することもできます。企業は、上述した各グループの成果物に応じて役割を割り振れます。ただし、複数のメンバーがいずれも結果を正しいと判断したとしても、検証済みとは限りません。受け入れ検証では、業務部門が確認した仕様に従って、実際の実行結果を照合する必要があります。

次回の開発成果の受け入れ会議では、まず範囲が明確な社内要件を一つ選び、業務部門の責任者に受け入れチェックリストを確認してもらうことをお勧めします。そのうえで、IT 部門がテストの再実行方法を実演し、未合格の項目を一緒に確認します。本番利用の前には、業務部門の責任者がツールを使用してよい業務を承認し、IT 部門が技術的なリスクを確認します。結果を何と照合すべきかさえ説明できないのであれば、まず仕様を補うべきです。作業を分担する AI Agent を増やしても、この問題は解決できません。

よくある質問

AI Agent が開発したツールは、デモに成功すれば本番利用できますか?

いいえ。デモの成功で証明できるのは、そのときの操作で結果が出たということだけです。デモ用のデータを残し、項目の欠落、データの重複、接続失敗などのケースを追加することをお勧めします。IT 部門がテストを実行し、実際の結果と期待する結果の差異を記録したうえで、責任者が未合格項目の影響に基づいて本番稼働の可否を判断します。

受け入れ基準は、業務部門と IT 部門のどちらが定めるべきですか?

業務部門と IT 部門が共同で定め、そのうえで業務部門の責任者が業務ルールを確認することをお勧めします。業務部門は、どのような結果なら受け入れられるか、どのような場合に人の確認が必要かを明確にし、IT 部門はその要件を繰り返し実行できるテストケースに落とし込みます。双方の合意が得られていない部分は、開発前に仕様を明確にしておくべきです。

AI Agent に、自分が開発した成果をチェックさせてもよいですか?

テストケースの作成を AI Agent に支援させることはできます。ただし、AI Agent 自身が合格と判定しただけで、受け入れ検証が完了したと考えてはいけません。まず業務部門が期待する結果の根拠を確認し、その後 IT 部門がテストを実行して、実際の出力と差異の記録を残すことをお勧めします。別の AI Agent にチェックを任せる場合も、同じ要件を守る必要があります。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証