← パースペクティブに戻る
/Intellicon FDE Team

AI Agent のモデルを切り替えて利用枠の消費が減っても、費用が下がるとは限らない

Google は、モデルを動的に切り替えても上位モデルに近い成功率を維持できるとしています。自社の案件を使い、同じモデルを使い続ける場合と切り替える場合の費用を、人による修正や引き継ぎの時間も含めて比較します。

AIEgentWrX人機協作導入
AI Agent のモデルを切り替えて利用枠の消費が減っても、費用が下がるとは限らない

AI Agent に数行のコード修正を依頼しただけなのに、テストしてみると、問題がシステム全体のアーキテクチャに関わっていると分かった。このまま元のモデルを使い続けるべきでしょうか。それとも、複雑な問題の分析に適したモデルに切り替えるべきでしょうか。企業が AI Agent を導入する際にも、同じモデルで十分な業務と、途中でモデルを切り替えられる柔軟性が必要な業務を見極める必要があります。

Intellicon Solutions は、業務の難易度が大きく変わらず、受け入れ条件も明確であれば、まずは選定したモデルで業務を完了できるか試すことを勧めています。途中で新たな問題が見つかり、分析をやり直す必要が生じた場合に、モデルの切り替えが役立つかを検証すればよいのです。複数のモデルに分担させるためだけに、操作の手順を増やす必要はありません。また、プラットフォームの利用枠の消費が減ったからといって、企業の費用が削減されたとは判断できません。

業務内容を事前に明確にできるなら、まずは同じモデルを使い続ける

TechOrange 科技報橘の報道によると、Google は Antigravity に Orchestrator を導入し、AI Agent が同じセッション内で業務の難易度に応じてモデルを切り替えられるようにしました。記事ではソフトウェア開発を例に、まず Carbon がアーキテクチャを分析して計画を立て、次に Hydrogen がコードを修正してテストを実行し、複雑な問題に直面したら再び Carbon に分析を任せる流れを紹介しています。企業にとっても参考になる方法ですが、まずは自社の業務にこうした分担が必要かどうかを確認すべきです。

最初に、業務を始める前にモデルを指定する方法、同じ業務の途中でモデルを切り替える方法、複数の AI Agent が異なる業務を同時に処理する方法を区別しておきましょう。この記事で比較するのは最初の二つです。複数の文書をそれぞれ整理したいだけなら、モデルを切り替える手順まで加える必要はありません。

たとえば、購買業務の見積もり比較を AI Agent に任せる場合、データの項目が統一され、比較ルールも明確で、品番、数量、支払条件を整理するだけなら、まずは検証済みのモデルを固定して使えます。社内で複数のモデルを選べるとしても、見積比較表を作るたびにモデルを切り替える必要があるわけではありません。

業務責任者は IT 部門とともに既存の業務を一つ選び、過去の案件から、通常どおり完了した事例と例外が発生した事例を集めます。そのうえで、各作業手順について、提供するデータ、期待する結果、受け入れ基準を明記します。たとえば、比較結果を元の見積書と照合できること、欠けている項目を明示し、データを勝手に補わないことなどです。選定済みのモデルでこれらを満たせるなら、そのシンプルな方法を継続すればよいでしょう。

途中で新たな問題が見つかったら、データ不足なのか、再分析が必要なのかを見極める

元の記事では、数行のコードを修正した後にアーキテクチャの問題が判明する例を挙げ、作業を進めて初めて、当初の想定よりも難しいと分かる場合があると説明しています。購買業務でいえば、見積もりを整理するだけのはずが、各サプライヤーの提示する仕様が異なり、同じ条件で比較できるか判断し直す必要が生じた場合です。このようなときには、別のモデルでその分析を処理できるか試す理由があります。

ただし、切り替える前に、なぜ正しく処理できないのかを確認する必要があります。サプライヤーから仕様が提供されていなければ、まず購買担当者に不足データをそろえてもらいます。どの代替品を許容するか社内で決まっていなければ、責任者にルールを確認してもらう必要があります。こうした判断をモデルの切り替えで代用することはできません。切り替え後に回答が得られたとしても、根拠がなければ分析能力が向上したとはいえません。

データがそろい、ルールも確定しているのに結果が受け入れ基準を満たさない場合は、操作担当者がモデルを切り替え、問題のあった手順を新しいモデルにやり直させることができます。切り替え前後の結果を比較する際は、仕様の違いを明確に説明しているか、参照したデータが正しいかを確認し、回答の長さだけで判断しないことが大切です。代替部材を受け入れられるか、購買を承認するかについては、引き続き責任者の確認を得てから次に進みます。

そのうえで、モデルを切り替えてよい条件を明文化し、操作担当者が照合できるようにします。たとえば、「データはそろっているが、モデルが指定ルールに従って仕様の違いを識別できていない」といった条件です。「結果が悪ければ切り替える」とだけ記録しても、次の担当者は、データを補うべきか、指示を修正すべきか、モデルを切り替えるべきか判断できません。

切り替え前に必要事項を引き継ぎ、切り替え後も元の基準で検証する

モデルを切り替える際は、業務の引き継ぎと同じように考えるとよいでしょう。操作担当者は、当初の依頼内容、完了した作業、使用したデータ、失敗の原因を伝え、確認済みの事実と未確認の推測を区別する必要があります。新しいモデルに最後の誤った回答だけを渡してしまうと、テスト結果を見ても、モデルの能力が足りないのか、引き継ぎ時の情報が不足していたのかを判断しにくくなります。

EgentWrX では、メッセージごとにモデルを選べるため、まずは担当者が手動で選択し、どの手順で切り替えると実際に効果があるかを検証できます。次のメッセージを送る際に引き継ぎ事項を添え、元の受け入れ条件に従って処理し直すよう新しいモデルに指示し、結果を一項目ずつ確認します。

切り替え前後の結果は、毎回セットで保存しておきます。特に、事前に伝えた制約が抜け落ちていないか、確認済みの内容が変更されていないか、根拠のない仮定が加わっていないかを確認してください。切り替えるたびに説明し直す時間が多くかかるなら、その時間もコストに含める必要があります。まずは手動で切り替える価値があるかを確かめてから、業務の進み具合に応じてシステムが自動でモデルを選ぶ必要があるかを検討します。

利用を広げるかどうかは、業務完了までの総費用と工数で判断する

TechOrange 科技報橘によると、Google は、この仕組みをソフトウェア開発のベンチマークで検証した結果、最初から最後まで上位モデルだけを使う場合に近い成功率を維持しながら、利用枠の消費を平均 24%、完了までの時間を 19% 削減したとしています。ただし、元の記事でも、プラットフォームの利用枠の消費が減っても、企業の API 請求額が同じ割合で下がるとは限らず、各社が自社の業務で検証する必要があると指摘しています。

チームは同じサンプルを使って、同じモデルを使い続ける場合と、手動で切り替える場合の結果を比較できます。テスト前に受け入れ基準と再試行を打ち切る条件を決め、実際のモデル利用料金、再試行回数、人による修正時間、未完了の案件をスプレッドシートに記録します。通常案件と例外案件は分けて比較し、失敗の記録も残します。うまくいった結果だけを選んで評価してはいけません。

テスト前に EgentWrX で対象部門や AI Agent の予算上限を設定し、「上限到達時の動作」で「ブロック」を選択しておけば、予算を使い切った時点でその後の利用を確実に止められます。ただし、予算設定でできるのは支出の制限です。実際に費用を削減できたかどうかは、請求明細と作業記録を照合して確認する必要があり、人が引き継ぎ資料を整理する時間も計上しなければなりません。

同じモデルを使い続けても受け入れ基準を満たせており、切り替えても会社が必要とする改善が得られないなら、元の方法を維持します。問題が特定の手順に集中しており、切り替え後の品質、費用、投入する工数がいずれも要件を満たす場合に、切り替え条件を運用ガイドにまとめます。まずはその手順だけを改善すればよく、すべての業務で途中のモデル切り替えを求める必要はありません。

よくある質問

同じモデルを使い続けるのに適しているのは、どのような業務ですか?

難易度が大きく変わらず、受け入れ条件が明確で、選定したモデルがテストに合格できる業務です。まずは過去の通常案件と例外が発生した案件を使って検証します。問題が特定の手順に限られるなら、その手順でモデルを切り替える効果を試せばよく、フロー全体を変える必要はありません。

AI Agent が間違えたら、すぐに高性能なモデルに切り替えるべきですか?

すぐに切り替える必要はありません。まず、データがそろっているか、指示と受け入れ条件が明確かを確認します。サプライヤーの仕様情報が不足している、あるいは許容できる仕様を社内で決めていない場合は、先にデータを補い、責任者に確認してもらいます。データとルールがそろっているのに分析を誤る場合に、別のモデルを試す価値があります。

プラットフォームの利用枠の消費が減った分を、そのまま会社の費用削減とみなせますか?

みなせません。利用枠の消費と、会社が実際に支払う金額は別のものです。同じサンプルで二つの方法を比較し、モデル利用料金、人による修正や引き継ぎの時間を確認するとともに、未完了の案件も記録します。結果が受け入れ基準を満たし、費用と工数も会社の要件に収まることを確認してから、利用を広げます。

参考資料

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証