← 返回觀點
/智慧方案FDE團隊

衡量 AI Agent 導入成效,先訂一項可驗收成果

報價、採購與客服各有不同的完成標準,不能用同一組使用數字判斷成效。先寫清楚成果名稱、驗收標準、資料來源與簽核人,再用相同定義比較新舊流程。

AIEgentWrX人機協作導入
衡量 AI Agent 導入成效,先訂一項可驗收成果

公司開始導入 AI Agent 後,主管很快就會收到一批容易統計的數字,例如多少人登入、執行幾次任務、用了多少 token、產生多少份文件。這些數字可以看出同仁有沒有使用工具,卻無法回答更重要的問題:公司原本想解決的業務問題,到底改善了沒有?

我們認為,AI Agent 的使用量適合用來管理成本、了解使用情形,不能直接當成導入成果。企業應先定義可以驗收的業務成果,再檢查支出、執行紀錄與人工核可是否符合規定;如果順序顛倒,團隊可能只顧著拉高使用量,工作卻沒有做好。

為什麼 token 用量愈高,不代表成果愈好?

Amazon 在 10 月 27 日公布新版軟體開發工程師職務指引,主張工程師的績效仍應以實際工作成果為準,不該直接用 AI 工具採用率、token 用量或程式碼數量評分。這些數字和生產力有一定關係,卻無法直接證明產品已經改善、業務問題已經解決,或交付品質符合要求。

Amazon 做出這項調整,有一段具體背景。今年 5 月,Amazon 員工建立 KiroRank 內部排行榜,按照 AI 開發工具 Kiro 的 token 用量排名。部分工程師為了提高名次,讓 AI Agent 執行不必要的任務,Amazon 後來因此關閉排行榜。公司一旦把使用量訂成績效目標,同仁自然有理由增加 token 消耗或程式碼數量,最後可能讓費用上升,系統也變得更複雜。

同樣的問題也會出現在企業流程中。客服團隊讓 AI Agent 草擬再多回覆,也不代表客訴已經處理完成;採購部門產生更多比價文件,也不代表承辦人已經找到符合規格與交期的選項。因此,主管第一步應該問:「我們原本希望哪一項工作的結果變好?」接著再看使用量,才不會把容易統計的活動數字誤當成實際成效。

每個專案先訂一項可以驗收的業務成果

企業可以先挑一項範圍清楚,而且主管知道該怎麼驗收的流程,再為 AI Agent 專案設定一項主要成果。以業務報價為例,可以檢查報價資料是否齊全、是否在承諾時間內交付;採購比價可以檢查規格、價格與交期是否都有資料來源可查;客服則可以檢查問題是否結案,以及需要轉交人工處理的案件是否確實送達。這些條件必須先由業務主管定義,再由 IT 與專案團隊轉成可以留下紀錄的驗收方式。

除了主要成果,團隊還要記錄幾項輔助資料,才能知道成果為什麼改善,或問題出在哪裡。建議保留任務開始與完成時間、人工退回原因、重新執行次數、token 用量或費用,以及最後由誰核可。這些資料是用來解釋結果,不應各自變成愈高愈好的績效目標。例如交付時間縮短,人工退回次數卻增加,主管就要進一步確認,AI Agent 是否只是更快產出仍未符合要求的內容。

驗收時也要保留比較基準。專案開始前,先按照現行流程,記錄一段期間內的交付結果與常見退件原因;上線後再用相同定義比較,避免前後採用不同標準。如果拿不到可靠的歷史資料,可以先讓新舊流程處理性質相近的工作,再由同一批主管按照同一套規則檢查。專案負責人現在要做的,就是選定一項流程,寫清楚成果名稱、驗收標準、資料來源,以及由誰負責簽核。

每次檢查都要一起看成果、費用與責任

每月檢查 AI Agent 專案時,建議由業務主管、IT 與專案負責人一起確認三件事:業務成果有沒有達標、費用有沒有超過上限、執行過程能不能回頭查證。如果成果沒有改善,即使用量很高,也應調整做法或停止使用;如果成果達標,費用卻持續增加,團隊就要檢查是否有不必要的重複執行,或是否用成本較高的做法處理簡單工作。

需要人來判斷的情況,也要明確寫進工作流程。以報價為例,金額超過部門上限、條件寫得不清楚,或內容即將寄給客戶時,流程就應該停下來,等待指定主管確認。如果現有的 AI Agent 無法改善某類工作,同仁也要能夠記錄原因,改回人工處理。採用率低不能直接被認定為表現不好,主管還要確認問題究竟是工具不適合、資料不足,還是同仁尚未學會使用。

EgentWrX 可以按照租戶、單位、成員與 AI Agent 分層設定費用預算,並在任一層的預算用完後,擋下後續使用;系統也會留下可匯出的稽核日誌,並可驗證其內容完整性。工作流可以設定人工核可關卡,讓 AI Agent 完成前段工作後先停下來,等待主管放行。這些機制不會替企業決定什麼才算成功,卻能協助主管在同一次檢查中,一起確認成果、支出與責任。下一步可以先排定每月檢查會議,明確訂出哪些情況要繼續使用、調整做法或停止使用。

常見問題

AI Agent 導入成效可以只看節省多少時間嗎?
不建議只看時間。處理速度加快後,仍要檢查交付內容是否符合規格、人工退回次數有沒有增加,以及工作是否真的完成;否則團隊可能只是更快產出仍然需要重做的內容。
token 用量完全沒有管理價值嗎?
token 用量有管理價值,適合用來追蹤費用、找出用量異常增加的情況,也可以比較不同做法的成本,但不適合直接當成績效目標。主管應該把 token 用量和業務成果、重新執行次數及核可紀錄放在一起檢查。
沒有可靠的歷史資料,還能評估導入成效嗎?
可以先建立短期的比較基準。讓現行流程與新流程處理性質相近的工作,採用相同的驗收規則,並交由相同角色檢查結果;重點是前後採用一致的定義,不要等到上線後才更換衡量標準。
AI Agent 不適合某項工作時,團隊該怎麼處理?
團隊應記錄不適用的原因,並讓流程改回人工處理。主管接著再確認問題出在資料、工具能力,還是工作本身;只要同仁提出合理說明,就不應因為採用率低而被認定表現不佳。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證