← 返回觀點
/智慧方案FDE團隊

AI Agent 上線前,先跑過這份測試清單

試用起來不錯,不足以當作上線依據。把成功、失敗和要人工確認的條件寫成測試案例,再用真實流程跑一輪,看例外和交接有沒有漏。

AIEgentWrX人機協作導入
AI Agent 上線前,先跑過這份測試清單

業務收到詢價後,AI Agent 能整理規格、查找歷史報價,也能草擬回覆。幾次測試看起來都很順,專案團隊接著卻會碰到更難的問題:它能否處理缺料、特殊付款條件或超過授權金額的訂單?如果資料不足,它會停下來詢問,還是自己補出答案?一旦判斷錯誤,誰能在送出報價前攔住?

企業驗證 AI Agent 能否上線,不能只看展示時有沒有完成任務。團隊要把成功、失敗與人工核可的條件寫成可以重複執行的測試案例,讓 AI Agent 在不同資料狀態與例外情境下反覆執行。只有在團隊能驗收測試結果、驗證規則能擋下錯誤,而且人員會先核可高風險動作的情況下,主管才有足夠依據決定上線範圍。

能否上線,先看測試能不能重複執行與驗收

Hugging Face Blog 刊出 ServiceNow 團隊的 AutoSynthData 研究。這套方法原本是用來產生 AI Agent 的訓練資料,不過其中檢查題目的方式,很適合企業拿來設計上線驗證。研究團隊先拿一個能力較強的模型當「老師」(教師模型,teacher model),比對它做對、但目標模型做錯的題目,找出目標模型還不會處理的地方,再依此出下一輪題目。每一道題目都配有一套自動檢查規則(驗證器,verifier),團隊會實際執行題目,確認正確的答案能通過,也確認相關的錯誤答案確實會被擋下。換句話說,驗證不能只看做對的時候會不會過關,也要看做錯的時候會不會被攔住。

這套方法把「模型好像會做」的主觀印象,轉成可以重複檢查的測試結果。不過,原文的成效來自研究團隊設計的受控測試環境:模型用這些題目訓練後,在兩類企業 IT 服務任務的表現有所提升。這只能證明這個方法在實驗環境中有效,不能直接推論企業的流程已經適合上線。企業還要測試自家權限、資料狀態、政策限制與人工交接,尤其要確認 AI Agent 是否會在資訊不足時停止,而不是產出一份看似合理、實際卻有錯誤的結果。

開始試辦前,流程負責人可以先挑選風險較低、輸入與輸出清楚的工作,例如整理客服案件、彙整採購比價資料或檢查報價欄位。接著寫下輸入資料來自哪裡、哪些欄位缺少時不得繼續、合格輸出必須包含什麼,以及哪些動作不能由 AI Agent 直接執行。流程負責人應先確認案例的真實性、可執行性與驗收標準,再把同一批任務重跑,觀察結果是否穩定。

檢查規則要接受合理差異,也要擋下實質錯誤

企業流程通常沒有唯一答案。採購比價可能因交期、付款條件與最低採購量而有不同排序;客服回覆可以採用不同句型,只要政策引用正確、承諾範圍沒有超出權限即可。如果檢查規則只比對固定文字,正確但表達不同的結果也會被判錯;如果規則太寬,漏列必要條件的結果又可能過關。

流程負責人應為每項任務整理四類規則:輸入資料是否齊全、合格輸出要包含哪些內容、哪些錯誤必須拒絕,以及哪些例外要交給人員判斷。以業務報價為例,檢查規則可以確認料號與幣別是否齊全、價格依據是否可追溯、付款條件是否符合公司政策;若金額超過授權門檻、客戶條件語意不清,或 AI Agent 準備執行不可逆動作,團隊就應暫停工作流並等待人工核可。

流程負責人要先固定提示詞、合格判定標準與例外處理規則,再請資深同仁整理五到十個代表性案例,涵蓋正常情境、資料缺漏、規則衝突與權限不足,交由領域主管逐項測試。確認規則適用範圍後,團隊才能把做法寫成可審查、可重複套用的技能;日後政策改變時,團隊也要保留版本並重新測試受影響的任務,避免 AI Agent 繼續依照舊規則執行任務。

團隊在每輪測試中都要保留失敗的輸入、輸出、工具呼叫結果與判定理由。團隊接著把失敗分成資料不足、規則理解錯誤、工具使用錯誤、權限問題或驗證規則不當,再補入接近真實工作的變體。研究團隊只讓通過檢查的題目衍生新題目,避免錯誤一路複製下去;企業也可以採用同樣的原則,先由領域主管核准核心案例,再擴充不同單據、資料狀態與流程組合。

上線門檻還要納入成本與人工交接

原文也提到,產生與檢查這些題目要反覆執行、修正,相當耗費時間與運算資源。研究的情境和企業專案不同,數字不能直接套用,但足以提醒導入團隊:測試輪數、模型使用量與修正工作,都會占用預算與人力。

團隊規劃試辦時,應先訂出停止條件與擴大條件。團隊可以記錄每項任務是否通過、為何失敗、人工介入發生在哪一步,以及每輪測試花費多少;接著檢查高風險錯誤是否仍未被攔下、相同失敗是否反覆出現、成本是否超過原先上限。若 AI Agent 只在標準案例表現穩定,例外情境仍需大量人工補救,主管就應縮小上線範圍,暫緩擴大到更多流程。

企業可以用 EgentWrX 把已確認的做法寫成技能,並在推廣到全公司前完成審查;團隊也能把可重複工作做成任務與工作流,在金額達到門檻、條件模糊或工作交接前設定人工核可。此外,平台可分別設定租戶、單位、成員與 AI Agent 的預算上限及告警門檻;任一層的使用量超過上限時,平台就會擋下該次使用。企業因此可以在試辦時納入規則審查、人工放行與費用限制,正式上線前就建立治理措施。

上線決策最後要回答三件事:AI Agent 在哪些任務範圍內已經穩定、哪些錯誤能由驗證規則擋下,以及哪些情境一定要由人員決定。只要其中一項仍說不清楚,團隊就應把 AI Agent 保留在受控試辦範圍;等團隊能用重複測試的結果與失敗紀錄說明風險,再逐步開放更多資料、使用者與工作流程。

常見問題

企業應先選哪一種 AI Agent 任務試辦?
先選輸入與輸出清楚、發生錯誤後可以復原,而且暫時不會直接改動重要系統的任務,例如整理客服案件或彙整採購資料。流程負責人先列出合格輸出與拒絕條件,再加入資料缺漏及規則衝突等例外測試。
AI Agent 測試幾次才算可以上線?
企業不能只憑固定的測試次數判斷是否可以上線,還應確認代表性案例與例外情境都已納入測試,而且重跑後結果穩定。每次測試都要留下失敗原因、人工介入點與費用,直到高風險錯誤能被擋下,才能考慮擴大範圍。
自動檢查會不會把不同寫法的正確答案判錯?
會,所以檢查規則應確認必要事實、政策限制與可接受範圍,不宜只比對固定文字。流程負責人也要準備多種正確答案與錯誤答案,分別確認合理差異可以通過,缺漏或越權結果一定會被拒絕。
哪些情況一定要保留人工核可?
涉及金額門檻、條件模糊、權限例外、對外承諾或不可逆動作時,團隊應暫停工作流,等待人員放行。企業還要指定核可角色、提供判斷所需資料,並保留核可結果,避免核可責任不清,只剩口頭約定。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。