驗收 AI 的回答時,如果答案裡提到了正確方法,卻花了大半篇幅教同仁繼續用錯誤的方法做事,這題該不該算通過?Hugging Face Blog 介紹的研究用杯子蛋糕說明這個問題:使用者看到糖霜從蛋糕上滑落,便問如何讓糖霜變稠,但真正的問題是蛋糕還太熱。即使回答提到要先讓蛋糕冷卻,只要大部分的建議仍在教人調整糖霜,使用者就可能繼續忙錯事情。
智慧方案認為,企業驗收時,不能只看答案裡有沒有提到正確方法,還要看同仁照著主要建議做,能不能把工作做好。因此,業務單位應先訂出哪些處理方式可以接受,再與 IT 一起檢查實際回答,不能只因為文字通順、該有的關鍵字都有,就判定合格。
有提到解法,為什麼還不能算答對?
研究團隊發布的問題評測集(XYBench),用 8,115 道題目檢查模型能否發現使用者想錯的地方,並協助解決真正的問題。在主要評測中,五個模型雖然經常能提出有用的解法,卻仍把回答重點放在使用者原先的錯誤做法上;其他實驗也發現,讓模型從現成答案中選出好建議,比讓模型自己寫出切合真正需求的回答,表現更好。因此,研究團隊分別評分,檢查回答有沒有提供解法、主要在建議使用者做什麼,以及有沒有勸使用者放棄錯誤做法。
企業可以參考這種評分方式,但不宜直接拿研究成績來判斷模型是否適用。這項研究以英文的操作步驟類問題為主,每題只讓模型回答一次,沒有提供台灣企業的實測結果,也沒有測試多輪追問後的表現。建議先從自家的工作情境挑選題目,讓模型直接作答,再請熟悉業務的人分別評閱以下各項:
- 有沒有提供能解決問題的方法:回答要提出能處理實際需求的方法,並說明什麼情況下適用,不能只因為提到相關名詞就給分。
- 主要建議能不能幫同仁把事情做對:評閱者要看回答一開始建議什麼、步驟怎麼安排,以及大部分篇幅在說什麼,確認同仁會優先做該做的事,不必讀到結尾才看到關鍵提醒。
- 指出使用者想錯時,有沒有根據:如果現有資料已足以判斷原來的做法不可行,回答就應說明理由;如果證據不足,就應先追問,不能自行認定使用者問錯了。
各欄的評閱結果,以及作為判斷依據的原句,都應保留下來,不要急著合併成總分。這樣專案團隊才能分清楚,模型究竟是不知道怎麼解決問題,還是知道方法,卻沒有把該優先做的事放在前面。
驗收題目要留下同仁當初怎麼問、為什麼問錯方向
如果專案團隊先把每道題目都改寫成清楚、正確的需求,再交給模型回答,就測不出模型能不能發現原始問法中的問題。建議請業務單位整理同仁曾經問錯方向的實際紀錄,逐題保留當初的問法、當時能取得的背景資料、真正想完成的事、原先想錯的地方,以及可以接受的處理方式。
以假設的採購情境來說,同仁要求將報價依單價排序,實際上是想比較符合需求的採購方案各要花多少錢。如果報價資料已顯示包裝數量不同,合格的回答就應先確認價格是怎麼計算的,再比較各家的報價;如果資料沒有包裝資訊,就應先詢問,不能直接斷言哪家比較便宜。
整理題目時,請把評閱者使用的答案說明與提供給模型的資料分開,避免題目已經寫出真正目標,卻以為模型是自己找出了問題。同時也要保留前提正確、可以直接回答的案例,以免模型為了符合評分要求,不管使用者問什麼都先反駁。
測試前,業務主管應先確認哪些情況可以直接給建議、哪些必須追問,以及哪些決定仍須由人核准。例如,AI Agent 可以協助比較採購方案,但要變更採購條件或決定下單,仍應依公司流程交給有權核准的人。
把反覆出錯的地方整理成技能,再用新題目驗收
如果評閱者反覆發現同樣的錯誤,建議把該怎麼修正寫成具體規則,不要只提醒模型要理解使用者。例如,比價前先確認規格與計價單位;資訊不足時,列出還缺哪些會影響比較結果的資料;發現原來的做法無法達成目標時,先說明原因,再提出其他可行的做法。
在 EgentWrX,團隊可以把這些固定做法整理成技能(Skill),讓 AI Agent 在適合的情境套用,同仁也能在對話中主動指定要用的技能。團隊可以透過技能儲存、套用這些判斷問題的規則,但這不代表模型每次都能發現使用者想錯的地方;同仁自行建立的技能若要供全公司使用,也須先經過後台審查核准。
修改技能後,請用編寫技能時沒有用過的案例重新驗收,並保留修改前後的回答,由專案團隊整理評分表、比較各個案例的結果。尤其要檢查,原本可以直接回答的題目,修改後有沒有反而多了不必要的追問。如果模型只是更常質疑使用者,卻沒有提出更合適的下一步做法,就不能算是改善成功。
選模型時,要比較實際寫出的回答
選擇題可以檢查模型能不能辨認好答案,但企業同仁需要的是模型當場寫出用得上的建議。因此,建議 IT 使用相同的題目、背景資料、提示與技能設定,讓候選模型各自回答;每次測試都另開獨立對話,避免前一次的答案影響下一次測試。
EgentWrX 可以針對每則訊息切換模型,團隊能在同一平台上逐一讓不同模型作答。比較時,請先隱去模型名稱,再讓業務評閱者依相同的評分項目檢查完整回答;如果意見不同,就找出有爭議的句子,依業務規則討論,不要用回答的長短或模型的名氣決定誰比較好。
如果實際工作允許追問,請另外安排多輪測試,觀察模型取得補充資料後能否調整建議,並與單輪測試的結果分開記錄。下一次驗收會議,可以先準備同一道題目的原始問法、合格的處理方式與模型回答,請業務主管確認:同仁照這份回答做,會先完成哪件事?這件事是否真的有助於達成工作目標?



