← 返回觀點
/智慧方案FDE團隊

AI 明明提到正確解法,為什麼回答還是偏離工作目標?

糖霜滑落,問題可能是蛋糕太熱,繼續調濃糖霜也沒用。企業可用問錯方向的工作案例,分開檢查目標解法、回答重點與錯誤前提。

AIEgentWrX人機協作導入
AI 明明提到正確解法,為什麼回答還是偏離工作目標?

驗收 AI 的回答時,如果答案裡提到了正確方法,卻花了大半篇幅教同仁繼續用錯誤的方法做事,這題該不該算通過?Hugging Face Blog 介紹的研究用杯子蛋糕說明這個問題:使用者看到糖霜從蛋糕上滑落,便問如何讓糖霜變稠,但真正的問題是蛋糕還太熱。即使回答提到要先讓蛋糕冷卻,只要大部分的建議仍在教人調整糖霜,使用者就可能繼續忙錯事情。

智慧方案認為,企業驗收時,不能只看答案裡有沒有提到正確方法,還要看同仁照著主要建議做,能不能把工作做好。因此,業務單位應先訂出哪些處理方式可以接受,再與 IT 一起檢查實際回答,不能只因為文字通順、該有的關鍵字都有,就判定合格。

有提到解法,為什麼還不能算答對?

研究團隊發布的問題評測集(XYBench),用 8,115 道題目檢查模型能否發現使用者想錯的地方,並協助解決真正的問題。在主要評測中,五個模型雖然經常能提出有用的解法,卻仍把回答重點放在使用者原先的錯誤做法上;其他實驗也發現,讓模型從現成答案中選出好建議,比讓模型自己寫出切合真正需求的回答,表現更好。因此,研究團隊分別評分,檢查回答有沒有提供解法、主要在建議使用者做什麼,以及有沒有勸使用者放棄錯誤做法。

企業可以參考這種評分方式,但不宜直接拿研究成績來判斷模型是否適用。這項研究以英文的操作步驟類問題為主,每題只讓模型回答一次,沒有提供台灣企業的實測結果,也沒有測試多輪追問後的表現。建議先從自家的工作情境挑選題目,讓模型直接作答,再請熟悉業務的人分別評閱以下各項:

  • 有沒有提供能解決問題的方法:回答要提出能處理實際需求的方法,並說明什麼情況下適用,不能只因為提到相關名詞就給分。
  • 主要建議能不能幫同仁把事情做對:評閱者要看回答一開始建議什麼、步驟怎麼安排,以及大部分篇幅在說什麼,確認同仁會優先做該做的事,不必讀到結尾才看到關鍵提醒。
  • 指出使用者想錯時,有沒有根據:如果現有資料已足以判斷原來的做法不可行,回答就應說明理由;如果證據不足,就應先追問,不能自行認定使用者問錯了。

各欄的評閱結果,以及作為判斷依據的原句,都應保留下來,不要急著合併成總分。這樣專案團隊才能分清楚,模型究竟是不知道怎麼解決問題,還是知道方法,卻沒有把該優先做的事放在前面。

驗收題目要留下同仁當初怎麼問、為什麼問錯方向

如果專案團隊先把每道題目都改寫成清楚、正確的需求,再交給模型回答,就測不出模型能不能發現原始問法中的問題。建議請業務單位整理同仁曾經問錯方向的實際紀錄,逐題保留當初的問法、當時能取得的背景資料、真正想完成的事、原先想錯的地方,以及可以接受的處理方式。

以假設的採購情境來說,同仁要求將報價依單價排序,實際上是想比較符合需求的採購方案各要花多少錢。如果報價資料已顯示包裝數量不同,合格的回答就應先確認價格是怎麼計算的,再比較各家的報價;如果資料沒有包裝資訊,就應先詢問,不能直接斷言哪家比較便宜。

整理題目時,請把評閱者使用的答案說明與提供給模型的資料分開,避免題目已經寫出真正目標,卻以為模型是自己找出了問題。同時也要保留前提正確、可以直接回答的案例,以免模型為了符合評分要求,不管使用者問什麼都先反駁。

測試前,業務主管應先確認哪些情況可以直接給建議、哪些必須追問,以及哪些決定仍須由人核准。例如,AI Agent 可以協助比較採購方案,但要變更採購條件或決定下單,仍應依公司流程交給有權核准的人。

把反覆出錯的地方整理成技能,再用新題目驗收

如果評閱者反覆發現同樣的錯誤,建議把該怎麼修正寫成具體規則,不要只提醒模型要理解使用者。例如,比價前先確認規格與計價單位;資訊不足時,列出還缺哪些會影響比較結果的資料;發現原來的做法無法達成目標時,先說明原因,再提出其他可行的做法。

在 EgentWrX,團隊可以把這些固定做法整理成技能(Skill),讓 AI Agent 在適合的情境套用,同仁也能在對話中主動指定要用的技能。團隊可以透過技能儲存、套用這些判斷問題的規則,但這不代表模型每次都能發現使用者想錯的地方;同仁自行建立的技能若要供全公司使用,也須先經過後台審查核准。

修改技能後,請用編寫技能時沒有用過的案例重新驗收,並保留修改前後的回答,由專案團隊整理評分表、比較各個案例的結果。尤其要檢查,原本可以直接回答的題目,修改後有沒有反而多了不必要的追問。如果模型只是更常質疑使用者,卻沒有提出更合適的下一步做法,就不能算是改善成功。

選模型時,要比較實際寫出的回答

選擇題可以檢查模型能不能辨認好答案,但企業同仁需要的是模型當場寫出用得上的建議。因此,建議 IT 使用相同的題目、背景資料、提示與技能設定,讓候選模型各自回答;每次測試都另開獨立對話,避免前一次的答案影響下一次測試。

EgentWrX 可以針對每則訊息切換模型,團隊能在同一平台上逐一讓不同模型作答。比較時,請先隱去模型名稱,再讓業務評閱者依相同的評分項目檢查完整回答;如果意見不同,就找出有爭議的句子,依業務規則討論,不要用回答的長短或模型的名氣決定誰比較好。

如果實際工作允許追問,請另外安排多輪測試,觀察模型取得補充資料後能否調整建議,並與單輪測試的結果分開記錄。下一次驗收會議,可以先準備同一道題目的原始問法、合格的處理方式與模型回答,請業務主管確認:同仁照這份回答做,會先完成哪件事?這件事是否真的有助於達成工作目標?

常見問題

答案已經提到正確方法,這樣還不夠嗎?
不夠,評閱者還要確認,同仁照著主要建議做,能不能解決真正的問題。如果正確方法只出現在結尾,前面卻詳細教人沿用錯誤做法,建議將「主要建議能不能幫同仁把事情做對」這一項評為未通過,並留下原句,供修改時比對。
資訊不足時,AI 先追問可以算合格嗎?
可以,但追問的內容必須有助於決定下一步怎麼做。建議在驗收案例中註明缺少哪些資料,以及使用者的哪些回答會讓建議跟著改變,再檢查模型是否問到關鍵資訊,不能只反覆要求使用者提供更多背景。
可以只用另一個模型替回答評分嗎?
不應只交給另一個模型評分,有爭議的回答仍須由熟悉業務的人確認。研究中,自動評審與人工審查對回答重點的判斷並不完全一致;企業可以讓模型協助初步整理,但驗收標準與是否通過,仍應由專案負責人確認。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證