企業が AI Agent を導入すると、管理者のもとにはすぐに、ログインした人数、タスクの実行回数、使用した token 数、作成した文書数など、集計しやすい数値が集まります。これらの数値から、従業員がツールを利用しているかどうかは把握できます。しかし、より重要な問いには答えられません。企業が当初解決しようとしていた業務上の課題は、本当に改善されたのでしょうか。
私たちは、AI Agent の利用量はコスト管理や利用状況の把握には適しているものの、導入成果として直接評価すべきではないと考えています。企業はまず、検収可能な事業成果を定義し、そのうえで支出、実行記録、人による承認が規定に沿っているかを確認する必要があります。この順序を逆にすると、チームは利用量を増やすことばかりに目を向け、肝心の業務を適切に遂行できなくなる可能性があります。
token 使用量が増えても、成果が向上したとは限らない理由
Amazon は10月27日、ソフトウェア開発エンジニア向けの職務ガイドラインを改定し、エンジニアの評価は引き続き実際の業務成果に基づくべきであり、AI ツールの利用率、token 使用量、コード量を直接の評価基準にすべきではないとの方針を示しました。これらの数値は生産性と一定の関係がありますが、製品が改善されたこと、業務上の課題が解決されたこと、あるいは成果物の品質が要件を満たしていることを直接証明するものではありません。
Amazon がこの変更を行った背景には、具体的な出来事があります。今年5月、Amazon の従業員は、AI 開発ツール Kiro の token 使用量に基づいて順位を付ける社内ランキング「KiroRank」を作成しました。一部のエンジニアが順位を上げるため、AI Agent に不要なタスクを実行させたことから、Amazon はその後ランキングを閉鎖しました。企業が利用量を業績目標に設定すれば、従業員には token の消費量やコード量を増やす動機が生まれます。その結果、コストが上昇し、システムも複雑化するおそれがあります。
同じ問題は、企業の業務プロセスでも起こります。カスタマーサポートチームが AI Agent にどれほど多くの回答案を作成させても、顧客からの苦情対応が完了したことにはなりません。調達部門が比較資料を増やしても、担当者が仕様と納期を満たす選択肢を見つけたとは限りません。したがって、管理者が最初に問うべきなのは、「当初、どの業務の成果を改善したかったのか」です。その後で利用量を確認すれば、集計しやすい活動量の数値を実際の成果と取り違えずに済みます。
プロジェクトごとに検収可能な事業成果を1つ定める
企業はまず、対象範囲が明確で、管理者が検収方法を理解しているプロセスを1つ選び、AI Agent プロジェクトの主要成果を設定します。営業見積もりであれば、見積もりに必要な情報がそろっているか、約束した期限内に提出されているかを確認できます。調達時の比較であれば、仕様、価格、納期について確認可能なデータソースがあるかを検査できます。カスタマーサポートでは、問題がクローズされているか、人による対応が必要な案件が確実に引き継がれているかを確認できます。こうした条件は、まず業務部門の管理者が定義し、IT 部門とプロジェクトチームが記録可能な検収方法に落とし込む必要があります。
主要成果に加えて、成果が改善した理由や問題の所在を把握するために、いくつかの補助データも記録する必要があります。タスクの開始時刻と完了時刻、人による差し戻しの理由、再実行回数、token 使用量または費用、最終承認者を記録することを推奨します。これらのデータは結果を説明するためのものであり、それぞれを「高いほどよい」という業績目標にしてはいけません。たとえば、納期が短縮されても人による差し戻しが増えている場合、AI Agent が要件を満たさない内容を以前より速く作成しているだけではないか、管理者がさらに確認する必要があります。
検収時には、比較の基準も残しておく必要があります。プロジェクト開始前に、現行プロセスに基づいて一定期間の成果物と一般的な差し戻し理由を記録し、稼働開始後も同じ定義で比較します。これにより、導入前後で異なる基準を使用する事態を避けられます。信頼できる過去データを取得できない場合は、新旧のプロセスで性質の近い業務を処理し、同じ管理者が同じルールに基づいて結果を確認する方法があります。プロジェクト責任者が今すべきことは、対象プロセスを1つ選び、成果の名称、検収基準、データソース、承認責任者を明確にすることです。
成果、費用、責任を毎回まとめて確認する
AI Agent プロジェクトを毎月確認する際は、業務部門の管理者、IT 部門、プロジェクト責任者が共同で、事業成果が目標を達成しているか、費用が上限を超えていないか、実行プロセスを後から検証できるかという3点を確認することを推奨します。利用量が多くても成果が改善していない場合は、運用方法を見直すか、利用を停止すべきです。成果が目標を達成していても費用が増え続けている場合は、不要な再実行が発生していないか、単純な業務をコストの高い方法で処理していないかを確認する必要があります。
人による判断が必要なケースも、業務プロセスに明記しなければなりません。見積もりを例にすると、金額が部門の上限を超えている場合、条件の記載が不明確な場合、または内容を顧客へ送信する直前には、プロセスを停止し、指定された管理者の確認を待つ仕組みにすべきです。既存の AI Agent では特定の業務を改善できない場合、従業員がその理由を記録し、人による処理に戻せるようにする必要もあります。利用率が低いという理由だけで、業績が悪いと判断してはいけません。管理者は、ツールが業務に適していないのか、データが不足しているのか、従業員がまだ使い方を習得していないのかを確認する必要があります。
EgentWrX では、テナント、部門、メンバー、AI Agent の各階層で費用予算を設定でき、いずれかの階層で予算を使い切った時点で、その後の利用を停止できます。システムにはエクスポート可能な監査ログも保存され、その内容の完全性を検証できます。ワークフローには人による承認ゲートを設定できるため、AI Agent が前工程を完了した時点で処理を一時停止し、管理者の承認を待つことができます。これらの仕組みが、何を成功と見なすかを企業に代わって決めるわけではありません。しかし、管理者が同じ確認プロセスの中で、成果、支出、責任をまとめて確認するうえで役立ちます。次のステップとして、まず月次レビュー会議を設定し、どのような場合に利用を継続するのか、運用方法を見直すのか、あるいは利用を停止するのかを明確に定めることができます。
よくある質問
AI Agent の導入効果は、短縮できた時間だけで評価できますか？
時間だけで評価することは推奨しません。処理速度が上がった後も、成果物が仕様を満たしているか、人による差し戻しが増えていないか、業務が実際に完了しているかを確認する必要があります。そうしなければ、チームは手直しが必要な内容を以前より速く作成しているだけかもしれません。
token 使用量には、まったく管理上の価値がないのでしょうか？
token 使用量には管理上の価値があります。費用の追跡、利用量が異常に増えたケースの特定、異なる手法のコスト比較に適していますが、直接の業績目標には適していません。管理者は、token 使用量を事業成果、再実行回数、承認記録と合わせて確認する必要があります。
信頼できる過去データがなくても、導入効果を評価できますか？
短期的な比較基準を先に設定することで評価できます。現行プロセスと新しいプロセスで性質の近い業務を処理し、同じ検収ルールを適用したうえで、同じ役割の担当者が結果を確認します。重要なのは、導入前後で一貫した定義を使用し、本稼働後になってから評価基準を変更しないことです。
AI Agent が特定の業務に適していない場合、チームはどう対応すべきですか？
チームは適用できない理由を記録し、プロセスを人による処理に戻す必要があります。その後、管理者がデータ、ツールの能力、業務自体のいずれに問題があるのかを確認します。従業員が合理的な説明をしている限り、利用率が低いという理由だけで業績が悪いと判断すべきではありません。
参考資料
- Amazonがソフトウェアエンジニアの職務ガイドラインを改定、AI時代はToken使用量ではなく成果を重視 — iThome による、Amazon の新しいエンジニア向け職務ガイドラインと AI を活用した業績評価原則の解説。
