AI の回答を評価するとき、正しい方法には触れているものの、回答の大半が社員に誤った方法を続けさせる説明になっていたら、合格としてよいのでしょうか。Hugging Face Blog で紹介された研究では、カップケーキを例にこの問題を説明しています。ユーザーはケーキからフロスティングが滑り落ちるのを見て、もっと固くする方法を尋ねます。しかし、本当の原因はケーキがまだ熱いことにあります。回答の中でケーキを先に冷ますよう伝えていても、提案の大部分がフロスティングの調整方法に費やされていれば、ユーザーは見当違いの作業を続けてしまう可能性があります。
Intellicon Solutions は、企業が AI の回答を検証する際、正しい方法に言及しているかだけでなく、社員が主な提案に従って業務を適切に進められるかまで確認する必要があると考えています。そのため、業務部門がまず許容できる対応を定め、IT 部門とともに実際の回答を確認すべきです。文章が自然で、必要なキーワードがそろっているという理由だけで、合格と判断してはいけません。
解決策に触れていても、正解とは限らないのはなぜか?
研究チームが公開した評価用データセット「XYBench」は、8,115 問を使い、モデルがユーザーの思い違いに気づき、本当の問題の解決を支援できるかを検証しています。主な評価では、5 つのモデルはいずれも有用な解決策を示せることが多かった一方、回答の重点は依然としてユーザーが最初に考えていた誤った方法に置かれていました。また、別の実験では、実際のニーズに合う回答をモデル自身に書かせるよりも、用意された回答の中から適切な提案を選ばせたほうが、成績が良いことも分かりました。そこで研究チームは、解決策を提示しているか、主にどのような行動をユーザーに勧めているか、誤った方法をやめるよう促しているかを、別々に採点しています。
企業もこの評価方法を参考にできますが、研究の成績だけでモデルが自社に適しているかを判断するのは避けるべきです。この研究は、英語で手順を尋ねる質問が中心で、各問につきモデルの回答は一度だけです。台湾企業での実証結果は示されておらず、複数回のやり取りを重ねた場合の性能も検証されていません。まずは自社の業務場面から評価用の質問を選び、モデルに直接回答させたうえで、業務に詳しい担当者が次の項目をそれぞれ評価することをお勧めします。
- 問題を解決できる方法を提示しているか:実際のニーズに対応できる方法を示し、どのような条件で有効なのかを説明している必要があります。関連する用語に触れただけで加点してはいけません。
- 主な提案が、社員の適切な業務遂行につながるか:評価者は、回答の冒頭で何を勧めているか、手順がどう組み立てられているか、文章の大部分を何の説明に使っているかを確認します。社員が最後まで読まないと重要な注意点に気づけないのではなく、優先すべき作業から取り組める内容かどうかを見極めます。
- ユーザーの思い違いを指摘する根拠があるか:手元の情報から元の方法ではうまくいかないと判断できる場合は、その理由を説明すべきです。根拠が足りない場合は、まず追加で確認する必要があり、ユーザーの質問が間違っていると決めつけてはいけません。
各項目の評価結果と、判断の根拠にした回答中の文は、すべて保存し、すぐに総合点へまとめないようにします。そうすることで、プロジェクトチームは、モデルが解決方法を知らないのか、それとも方法は分かっているのに優先すべき行動を先に示せていないのかを区別できます。
評価用の質問には、社員が実際にどう尋ね、なぜ方向性を誤ったのかを残す
プロジェクトチームがすべての質問を明確で正しい要件に書き直してからモデルに渡してしまうと、元の質問に潜む問題をモデルが見抜けるかどうかは検証できません。業務部門に、社員が質問の方向性を誤った実際の記録を整理してもらい、当初の質問、当時入手できた背景情報、本当に達成したかったこと、最初に思い違いをしていた点、許容できる対応を、事例ごとに残すことをお勧めします。
仮の購買場面を例に考えてみましょう。社員は見積もりを単価順に並べるよう依頼していますが、本来の目的は、要件を満たす調達案ごとにいくらかかるのかを比較することです。見積書から梱包単位の数量が異なると分かるなら、合格となる回答は、まず価格の算出方法を確認してから各社の見積もりを比較する必要があります。梱包に関する情報がなければ、先に確認すべきであり、どの会社が安いかを断定してはいけません。
評価用の質問を整理する際は、評価者向けの解答説明とモデルに渡す資料を分けてください。質問の中に本当の目的を書いておきながら、モデルが自力で問題を見抜いたと誤認することを防ぐためです。同時に、前提が正しく、そのまま回答できる事例も残しておく必要があります。そうしなければ、モデルが評価基準に合わせようとして、どんな質問にもまず反論するようになるおそれがあります。
テストの前に、業務部門の責任者は、どのような場合にそのまま提案してよいか、どのような場合に追加確認が必要か、どの判断には引き続き人の承認が必要かを確認しておくべきです。例えば、AI Agent は調達案の比較を支援できますが、調達条件の変更や発注の決定は、社内の手順に従い、承認権限を持つ担当者に委ねる必要があります。
繰り返す誤りへの対処をスキルにまとめ、新しい事例で検証する
評価者が同じ誤りを繰り返し見つけた場合は、単に「ユーザーを理解するように」とモデルに指示するのではなく、修正方法を具体的なルールとして記述することをお勧めします。例えば、価格比較の前に仕様と価格の単位を確認する、情報が不足している場合は比較結果に影響する未確認の情報を列挙する、元の方法では目的を達成できないと分かった場合は、まず理由を説明してから別の実行可能な方法を示す、といったルールです。
EgentWrX では、チームがこうした定型的な対応をスキル(Skill)としてまとめ、適切な場面で AI Agent に適用できます。社員が会話の中で使いたいスキルを指定することも可能です。スキルを通じて、問題を判断するためのルールを保存・適用できますが、それによってモデルが毎回ユーザーの思い違いを見抜けるようになるわけではありません。また、社員が自分で作成したスキルを全社で利用するには、管理画面での審査・承認が必要です。
スキルを修正したら、作成時に使っていない事例で再検証し、修正前後の回答を保存してください。プロジェクトチームで評価表を整理し、事例ごとの結果を比較します。特に、もともとそのまま回答できていた質問に、修正後は不要な追加確認が増えていないかを確認することが重要です。モデルがユーザーに疑問を呈する頻度だけが増え、より適切な次の行動を示せていないのであれば、改善に成功したとはいえません。
モデルを選ぶときは、実際に生成した回答を比較する
選択式の問題では、モデルが良い回答を見分けられるかを確認できます。しかし、企業の社員が必要としているのは、その場で使える提案をモデルが書いてくれることです。そのため、IT 部門は同じ質問、背景情報、プロンプト、スキル設定を使い、候補となるモデルそれぞれに回答させることをお勧めします。前の回答が次のテストに影響しないよう、毎回独立した新しい会話でテストしてください。
EgentWrX ではメッセージごとにモデルを切り替えられるため、同じプラットフォーム上で複数のモデルに順番に回答させることができます。比較する際は、まずモデル名を伏せ、業務側の評価者に同じ評価項目で回答全文を確認してもらってください。意見が分かれた場合は、判断が分かれた文を特定し、業務上のルールに照らして議論します。回答の長さやモデルの知名度で優劣を決めてはいけません。
実際の業務で追加のやり取りが可能なら、複数ターンのテストも別途設け、補足情報を得た後にモデルが提案を調整できるかを確認してください。結果は、1 回の回答で評価するテストとは分けて記録します。次回の検証会議では、同じ事例について、元の質問、合格とみなせる対応、モデルの回答を用意し、業務部門の責任者に次の点を確認してもらうとよいでしょう。社員がこの回答に従った場合、最初に何をするのか。その行動は、本当に業務の目的達成につながるのか。
よくある質問
回答で正しい方法に触れていれば、それで十分ではありませんか?
十分ではありません。評価者は、社員が主な提案に従うことで、本当の問題を解決できるかまで確認する必要があります。正しい方法が最後にしか出てこず、それ以前の部分では誤った方法を続ける手順を詳しく説明しているなら、「主な提案が、社員の適切な業務遂行につながるか」の項目は不合格とし、修正時に比較できるよう、該当する文を残しておくことをお勧めします。
情報が足りない場合、AI が先に追加の質問をすれば合格とみなせますか?
はい。ただし、その質問は次に何をすべきかを判断するために役立つものである必要があります。評価用の事例には、不足している情報と、ユーザーがどう答えたら提案が変わるのかを明記し、モデルが重要な情報を確認できているかをチェックすることをお勧めします。単に「背景をもっと教えてください」と繰り返すだけでは不十分です。
別のモデルだけを使って回答を採点してもよいですか?
別のモデルだけに採点を任せるべきではありません。判断が分かれる回答は、業務に詳しい担当者が確認する必要があります。研究でも、回答の重点に関する自動評価と人による評価は、完全には一致していませんでした。モデルに一次整理を支援させることはできますが、評価基準と合否は、プロジェクト責任者が確認すべきです。
参考資料
- XYBench: Helping with the problem behind the question — Hugging Face Blog。研究チームが評価用データセット、回答を生成する場合と選択する場合の成績の差、評価方法とその限界を紹介しています。



