← パースペクティブに戻る
/Intellicon FDE Team

購買業務で AI による価格比較に誤りや利用停止が起きたら、どう発注を続けるか?

オーストラリアの重要インフラ向けガイドラインは、AI の障害が不可欠な業務に影響しないよう、人の手で処理する手段を残すことを推奨しています。まずは検証に必要な資料と代替手順を整えたうえで、提案に誤りがある場合とツールが使えない場合を分けて訓練しましょう。

AIEgentWrX人機協作導入
購買業務で AI による価格比較に誤りや利用停止が起きたら、どう発注を続けるか?

購買担当者が急ぎの注文を発注しようとしたところ、AI が価格比較に使った仕様が間違っていた、あるいはプラットフォームが突然使えなくなったとします。そのとき、上司は誤った発注を未然に止め、担当者が元の見積書を確認して必要な承認を得られるようにできるでしょうか。処理手順や必要な資料まで AI を通じてしか取得できないのであれば、文書に「手作業に切り替え可能」と記載されていても、担当者は業務を続けられないかもしれません。

Intellicon Solutions は、企業が AI Agent の受け入れ検証を行う際には、提案に誤りがある場合とツールが使えない場合を分けてテストすべきだと考えています。提案に誤りがある場合は、担当者が問題を見つけ、後続の処理を止められるかを確認します。ツールが使えない場合は、AI に頼らず、あらかじめ指定した不可欠な業務を完了できるかを確認します。正常時に AI が回答を出せることだけを確かめても、問題が起きたときにどう対処すればよいかまでは分かりません。

手作業に切り替えるには、まず止められない業務を明確にする

iThome の報道によると、オーストラリア内務省傘下の所管当局は、重要インフラのリスク管理計画に関するガイドラインを更新し、AI の運用リスクを考慮に加えました。当局は、意思決定支援ツールが誤った提案を出したり、障害を起こしたり、攻撃者に悪用されたりすると、重要なサービスに影響が及び、機密情報の漏えいにつながる可能性もあると指摘しています。そのため、担当者が提案の正しさを確認してから行動するとともに、人の手で処理する手段を残すことを推奨しています。

このガイドラインはオーストラリアの重要インフラを対象としており、報道では台湾企業への適用の有無は説明されていません。また、改善効果を示すデータも提示されていません。したがって、企業には、このガイドラインの確認の観点を参考に、まず業務責任者が障害中も完了しなければならない業務を洗い出し、その実現に必要な条件を IT 部門に確認してもらうことをお勧めします。海外のガイドラインだけを根拠に、自社の法令適合性を判断すべきではありません。

購買の価格比較を想定するなら、責任者はまず「急ぎの案件では仕様と納期の確認、承認の取得を必須とし、急ぎでない案件の分析レポートは後回しにできる」といった要件を定められます。そのうえで、AI が関わる手順、誤りが生じた場合に影響を受ける人、AI の提案がなくても手元の資料で進められる手順を整理します。まずは重要な業務を一つ選び、障害中にどこまでできれば完了とみなすのか、どの程度の遅延まで許容できるのかを明記すると、IT 部門もテストすべき項目を把握できます。

人による承認で何を確認するのか。「上司の同意」だけでは不十分

実行前に人が確認することを求めるなら、具体的な確認項目を作業手順に組み込む必要があります。例えば、購買責任者が価格比較の結果を承認する前に、仕入先の元の見積書、適用される仕様、納期条件を参照できなければ、AI が整理した内容を一つずつ照合できません。整理後の結論しか見られない状態では、自ら検証することはできません。

承認者は、仕様の不一致や資料の不足が見つかったとき、どの手順に差し戻すのか、誰に資料の追加を依頼するのか、資料がそろうまでどの作業を進めてはいけないのかも把握しておく必要があります。その業務に詳しい人を承認者とし、代理担当者も決めておくことをお勧めします。主担当者が不在のときに、ほかの担当者が業務を急ぐあまり確認を省いてしまう事態を防ぐためです。

EgentWrX のワークフロー(workflow)では、複数のタスクを順番に実行し、次のタスクに進む前に人による承認を設定できます。処理を一時停止し、担当者の承認を待ってから再開する仕組みです。これにより、実行前に人が内容を確認する機会を設けられます。ただし、人が承認したからといって内容が必ず正しいとは限らず、AI が使えないときに備えた手作業の手順を代替するものでもありません。そのため、承認が必要な手順を設定する際には、照合すべき資料、差し戻す条件、責任者も明確にしたうえで、意図的に誤った提案を入れ、担当者が問題を発見して処理を止められるかをテストする必要があります。

AI の利用停止後も、担当者は資料を取得できるか?

手作業に切り替えるには、AI が使えないときでも、担当者が作業手順や必要な資料を取得できることを確認しなければなりません。AI プラットフォームを経由せずに開ける文書や帳票を用意し、管理担当者と更新日時を明記したうえで、実際に業務を担当する人に開けるかどうかを確認してもらうことをお勧めします。資料のコピーを使う場合は、古い見積書で作業を続けてしまわないよう、版の見分け方も明確にしておく必要があります。

一方、IT 部門は、AI プラットフォーム、社内ネットワーク上のデータベース、外部サービス、既存の業務システムの接続関係を図にし、各接続の用途、読み取りや書き込みが必要なデータ、責任者、切断時に影響を受ける業務を記録すべきです。例えば、AI 関連の接続を無効にした後も、購買担当者は既存のシステムにログインして注文を照会できるでしょうか。照会に同じ停止中のサービスを経由する必要があるなら、まずその問題を解決しなければ、手作業を継続することはできません。

EgentWrX を例にすると、プラットフォームは社内ネットワーク経由で企業のデータベースを読み取ることができますが、この社内データベース連携は読み取り専用で、書き込みはできません。また、外部接続の許可リスト(allowlist)は、初期設定ですべての外部接続を拒否し、企業が必要な接続先ドメインを個別に許可する方式です。これらの設定はアクセス範囲を制限できますが、それだけでネットワーク分離(network isolation)が実現できている、あるいは重要なシステムが AI に依存せず稼働できると判断してはいけません。IT 部門が影響範囲を管理できる環境で AI 関連の接続を無効にし、既存システムと手作業の手順でどの業務を完了できるかを実際に確認する必要があります。

本番稼働前に、提案の誤りとツールの利用停止を分けて訓練する

業務責任者と IT 部門が共同で訓練を計画し、使用する資料、影響を与えてよい業務の範囲、訓練後の復旧方法を事前に決めておくことをお勧めします。本番業務をそのまま中断することは避けるべきです。受け入れ検証の記録にも、担当者が実際に完了できた業務を明記する必要があります。代替対応の文書があることにチェックを付けるだけでは不十分です。

一つ目の訓練では、仕様が間違っていたり、条件が抜けていたりする価格比較の提案を提示し、承認者が元の資料を確認して誤りを見つけ、後続の処理を止められるかを観察します。承認者が問題に気づけない場合は、確認用のチェックリストを見直すか、検証に必要な資料を補う必要があります。署名欄を一つ増やすだけでは解決しません。

二つ目の訓練では、AI が使えない状態で、担当者が所定の手順に従って不可欠な業務を完了できるかを確認します。同時に、誰が手作業への切り替えを宣言し、誰が業務を引き継ぎ、各手順でどの記録を残すべきかも確かめます。システム復旧後は、手作業に切り替えていた間に完了した業務を照合する担当者を指定し、注文の二重送信や未処理事項の見落としを防ぐこともお勧めします。

次回の本番稼働に向けた会議では、この二つの訓練結果を持ち寄り、依然として AI 経由でしか取得できない資料は何か、誰が対応するかを話し合えます。そのうえで、当面は AI に任せない業務と、修正後に再テストする時期を決めましょう。責任者は、正常時のデモだけを見て承認するのではなく、訓練で実際に完了できた業務をもとに本番稼働の範囲を判断すべきです。

よくある質問

人による承認を設定すれば、AI の誤りや利用停止のリスクに十分対応できますか?

十分ではありません。元の資料を用意し、確認項目と差し戻し方法を定めたうえで、担当者が実際に誤りを止められるかをテストする必要があります。また、プラットフォームが停止すると承認フロー自体を開けない可能性もあるため、AI に頼らない手作業の方法も別途訓練しなければなりません。

人による代替対応に備えて、まず何を準備すべきですか?

まず、AI プラットフォームを経由せずに取得できる作業手順、必要な資料、引き継ぎ担当者の一覧を用意し、誰が手作業への切り替えを宣言できるかを決めます。次に、実際の担当者に文書に沿って不可欠な業務を完了してもらい、資料の版が正しく、必要なアクセス権限があり、代理担当者も引き継げることを確認したうえで、訓練中に見つかった問題を修正します。

今回更新されたオーストラリアのガイドラインは、台湾企業も遵守する必要がありますか?

そのまま適用されるとは判断できません。この報道が扱っているのはオーストラリアの重要インフラ向けガイドラインであり、台湾企業への適用の有無は説明されていません。企業はまず、人による確認や代替対応の訓練を通じて、自社の手順が実行可能かを確かめられます。法令上の要件については、コンプライアンス担当者に自社に適用される規制を確認してもらう必要があります。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証