← パースペクティブに戻る
/Intellicon FDE Team

モデルを変えるとどれだけ削減できるのか。まずは新旧モデルに同じ業務を任せて比較する

仕入先の見積もり整理と特殊な支払条件の判断を、一括りにして平均値だけで評価してはいけません。まず業務を分類し、データ、指示、合格基準をそろえたうえで、基準を満たすまでにかかる費用と工数を比較しましょう。

AIEgentWrX人機協作導入
モデルを変えるとどれだけ削減できるのか。まずは新旧モデルに同じ業務を任せて比較する

営業部門が見積もりの整理に新しいモデルを使いたいと考え、IT 部門もテスト結果を見て、試す価値があると判断したとします。ただし、上司が承認を検討する際には、担当者が品番を確認し、条項を修正し、失敗した処理をやり直す時間まで含めて考える必要があります。モデルの回答が見栄えよくなっても、担当者が成果物を提出するまでに以前より時間がかかるなら、今回の更新で何を削減できたのでしょうか。

Intellicon Solutions の FDE チームは、更新の効果を判断するには、一度うまくいった結果だけを見るのではなく、業務を合格水準まで仕上げるのに必要な費用と時間の総額を比較すべきだと考えています。そのためには、まず成果物がどの水準に達すれば利用できるのかを明確にし、試行ごとの費用と、担当者が修正ややり直しに費やした時間を記録する必要があります。そうして初めて、モデルを切り替える価値のある業務と、当面は現状を維持すべき業務を判断できます。

テストのスコアが上がれば、業務の費用や時間も減るのか?

TechOrange 科技報橘がまとめたモデルに関する記事によると、Anthropic が公開したコーディングテストでは、推論の強度(reasoning effort、モデルが推論に割く処理量の設定)を上げるとタスクごとの費用が増えた一方、強度を最大にしても最高スコアには達しませんでした。同記事は『VentureBeat』の提言も紹介しています。企業は実際の業務で直面する問題を使ってモデルを比較し、モデルの利用料だけでなく、失敗した試行にかかった費用、人によるレビュー時間、修正によってそれまで正常に動いていた機能に不具合が生じるケースも評価に含めるべきだというものです。

これらは特定のコーディングテストで得られた結果です。元の記事には台湾の製造業や伝統産業での実測結果は示されていないため、そのまま自社の削減額の試算に使うのは適切ではありません。まずは、購買時の見積比較資料の整理など、改善したい業務を選ぶことをお勧めします。購買部門の責任者に、現在どのようなミスの対応に最も時間がかかっているかを説明してもらい、そのうえで IT 部門が比較テストを組みます。先にすべてのモデルを切り替え、後から効果を裏付ける事例を探す進め方は避けましょう。

合格基準を明確にしてから、新旧モデルに同じ業務を任せる

業務担当者と IT 部門が一緒に実務のタスクを選び、日常的なケースだけでなく、過去に失敗が多かったケースも含めて、業務の種類ごとに比較することをお勧めします。例えば、仕入先の見積もり整理と特殊な支払条件の判断では、成果物に求められる要件が異なります。まとめて平均値だけを見ると、どの業務でモデルを切り替えるべきか判断しにくくなります。

購買時の見積比較であれば、品番と通貨が正しいこと、納期と支払条件に情報の出典を添えること、条件が不十分な場合は確認が必要な事項を列挙すること、といった基準をあらかじめ決められます。これは推奨する検収方法の例であり、実際の顧客事例ではありません。購買担当者による内容の確認は引き続き必要ですし、仕入先の選定や購買の承認も、従来の決裁手続きに従う必要があります。

テストでは、現在使用しているモデルと評価対象の新モデルに、同じデータ、業務指示、合格基準を適用し、それぞれの設定も記録します。文書を差し替え、指示を書き直し、さらに推論の強度も上げてしまうと、結果がよくなっても、どの変更が効いたのか分かりません。指示を改善する必要がある場合は、別の比較テストとして実施し、条件の異なる結果をまとめて集計しないことをお勧めします。

業務担当者は、どのような誤りを許容できないかをテスト開始前に確認し、プロジェクト責任者も、どのような状況で試行を打ち切るかを決めておく必要があります。回答を見てから基準を緩めることを防ぐためです。未完了のケースや制限時間を超えたケースも記録に残し、成果物を出せなかったからといって評価対象から除外してはいけません。

失敗と人手による修正を含めて、実際の削減効果を把握する

チームで評価表を別途用意し、ケースごとに成果物が合格したかどうか、試行ごとのモデル利用料、担当者が確認と修正に費やした時間を記録することをお勧めします。修正した結果、それまで正しかった部分に誤りが生じた場合は、どのような誤りが起き、対処にどれだけ時間がかかったかも残します。最終的に提出された合格版だけを見ていては、そこに至るまでに費やした手間が分かりません。

比較する際は、同じ種類のタスクにかかったモデル利用料と、人による確認・修正の費用をすべて合計し、合格した成果物の件数で割ることで、合格成果物1件あたりのコストの目安を算出できます。総費用には、失敗したケースで使った費用と人手も含め、未完了の件数と失敗原因を別途記載します。すべてのケースが基準を満たさなかった場合は、そのまま「基準未達」と記録し、合格成果物1件あたりのコストは算出しません。人の作業時間を費用に換算する場合は、全社で統一した見積方法を使い、部門ごとに都合のよい計算方法を選ばないようにします。

費用に換算した後も、実際にかかった工数は残しておく必要があります。試算上の人件費が下がっても、当期の現金支出が減るとは限らないためです。一方、新モデルが現行モデルではできなかった業務をこなせるものの、費用や時間が増える場合は、追加で得られる成果にその費用をかける価値があるかを上司が判断する必要があります。能力の向上を、そのままコスト削減と表現してはいけません。

EgentWrX ではメッセージごとにモデルを切り替えられるため、チームは業務の難易度に応じてモデルを選べます。ただし、テスト結果の採点や人が費やした時間の記録は、引き続きチームが前述の基準に沿って実施します。まずは品質基準を満たし、費用と工数の両面で実際に削減を確認できた業務から、モデルを切り替えることをお勧めします。テスト結果にばらつきがある場合や、切り替えを裏付けるデータがまだ十分にない場合は、現状を維持し、追加テストで確認しましょう。

予算を使い切っても基準に達しない場合は、原因を調べてから追加投資を判断する

比較を始める前に、プロジェクト責任者は試用費用の上限を設定するとともに、担当者が確認に使える時間の上限も別途決めておく必要があります。EgentWrX では、テナント、部門、メンバー、AI Agent ごとに予算を設定できますが、実際に利用をブロックするには、「トリガー時の動作」で「ブロック」を選ぶ必要があります。そのため、テストに参加する部門や AI Agent にあらかじめ上限を設定してプラットフォームの利用量を管理し、担当者が修正ややり直しにかけた時間は別途記録する方法が取れます。

利用枠を使い切っても合格した成果物が十分に得られない場合は、まず失敗の記録を確認することをお勧めします。モデルに必要なデータが足りなかったのか、任せた業務の範囲が広すぎたのか、それとも担当者が同じ誤りの修正に繰り返し時間を費やしていたのかを確かめます。原因を明らかにしてから、業務範囲を絞るのか、別のモデルに切り替えるのか、理由を示して追加予算を申請するのかを判断します。テストがまだ終わっていないという理由だけで、上限を引き上げてはいけません。

次にモデルの更新を検討する際は、業務担当者と IT 部門が同じ記録を用意し、どの業務が基準を満たしたか、費用と工数が合計でどれだけかかったか、どのケースが未完了なのかを説明しましょう。こうしたデータがあれば、上司は特定の業務に絞ってモデルの切り替えを承認できます。成功したデモだけを見る場合よりも、その支出に価値がある理由を根拠に基づいて説明できます。

よくある質問

モデルの更新で費用を削減できるか評価するには、まず何を記録すればよいですか?

ケースごとに、成果物が合格したかどうか、試行ごとのモデル利用料、人による確認・修正の時間を記録します。失敗や未完了のケースも残したうえで、業務の種類ごとに比較してください。工数を費用に換算する場合は、全社で統一した見積方法を使います。

モデル利用料が下がれば、更新によって費用を削減できたと判断してよいですか?

いいえ。同じ種類の業務で継続して合格基準を満たせるか、担当者の確認や修正にかかる時間が増えていないかも確認する必要があります。モデル利用料と人の作業工数を分けて記載し、全体の負担を比較することをお勧めします。モデル利用料が下がっただけで、業務全体の費用も減ったと思い込まないためです。

テスト結果がよければ、すべての AI Agent のモデルを切り替えるべきですか?

その必要はありません。実測で基準を満たし、費用と工数の両面で実際に削減を確認できた業務から切り替え、それ以外は当面、現状を維持することをお勧めします。新モデルが従来はできなかった業務をこなせても、費用が増えるのであれば、その成果に費用をかける価値があるかを別途評価すべきです。能力が向上しただけで、費用も削減できたとは判断できません。

試用予算を使い切っても十分な成果が得られない場合は、どうすればよいですか?

まず試用を一時停止し、失敗の原因を確認します。すぐに上限を引き上げてはいけません。チームで未完了のケースを整理し、データ不足なのか、業務範囲が広すぎるのか、担当者が修正に時間をかけすぎているのかを確認してください。そのうえで改善策と追加予算が必要な理由を示し、継続するかどうかを上司に判断してもらいます。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証