公司開始導入 AI Agent 後,主管很快就會收到一批容易統計的數字,例如多少人登入、執行幾次任務、用了多少 token、產生多少份文件。這些數字可以看出同仁有沒有使用工具,卻無法回答更重要的問題:公司原本想解決的業務問題,到底改善了沒有?
我們認為,AI Agent 的使用量適合用來管理成本、了解使用情形,不能直接當成導入成果。企業應先定義可以驗收的業務成果,再檢查支出、執行紀錄與人工核可是否符合規定;如果順序顛倒,團隊可能只顧著拉高使用量,工作卻沒有做好。
為什麼 token 用量愈高,不代表成果愈好?
Amazon 在 10 月 27 日公布新版軟體開發工程師職務指引,主張工程師的績效仍應以實際工作成果為準,不該直接用 AI 工具採用率、token 用量或程式碼數量評分。這些數字和生產力有一定關係,卻無法直接證明產品已經改善、業務問題已經解決,或交付品質符合要求。
Amazon 做出這項調整,有一段具體背景。今年 5 月,Amazon 員工建立 KiroRank 內部排行榜,按照 AI 開發工具 Kiro 的 token 用量排名。部分工程師為了提高名次,讓 AI Agent 執行不必要的任務,Amazon 後來因此關閉排行榜。公司一旦把使用量訂成績效目標,同仁自然有理由增加 token 消耗或程式碼數量,最後可能讓費用上升,系統也變得更複雜。
同樣的問題也會出現在企業流程中。客服團隊讓 AI Agent 草擬再多回覆,也不代表客訴已經處理完成;採購部門產生更多比價文件,也不代表承辦人已經找到符合規格與交期的選項。因此,主管第一步應該問:「我們原本希望哪一項工作的結果變好?」接著再看使用量,才不會把容易統計的活動數字誤當成實際成效。
每個專案先訂一項可以驗收的業務成果
企業可以先挑一項範圍清楚,而且主管知道該怎麼驗收的流程,再為 AI Agent 專案設定一項主要成果。以業務報價為例,可以檢查報價資料是否齊全、是否在承諾時間內交付;採購比價可以檢查規格、價格與交期是否都有資料來源可查;客服則可以檢查問題是否結案,以及需要轉交人工處理的案件是否確實送達。這些條件必須先由業務主管定義,再由 IT 與專案團隊轉成可以留下紀錄的驗收方式。
除了主要成果,團隊還要記錄幾項輔助資料,才能知道成果為什麼改善,或問題出在哪裡。建議保留任務開始與完成時間、人工退回原因、重新執行次數、token 用量或費用,以及最後由誰核可。這些資料是用來解釋結果,不應各自變成愈高愈好的績效目標。例如交付時間縮短,人工退回次數卻增加,主管就要進一步確認,AI Agent 是否只是更快產出仍未符合要求的內容。
驗收時也要保留比較基準。專案開始前,先按照現行流程,記錄一段期間內的交付結果與常見退件原因;上線後再用相同定義比較,避免前後採用不同標準。如果拿不到可靠的歷史資料,可以先讓新舊流程處理性質相近的工作,再由同一批主管按照同一套規則檢查。專案負責人現在要做的,就是選定一項流程,寫清楚成果名稱、驗收標準、資料來源,以及由誰負責簽核。
每次檢查都要一起看成果、費用與責任
每月檢查 AI Agent 專案時,建議由業務主管、IT 與專案負責人一起確認三件事:業務成果有沒有達標、費用有沒有超過上限、執行過程能不能回頭查證。如果成果沒有改善,即使用量很高,也應調整做法或停止使用;如果成果達標,費用卻持續增加,團隊就要檢查是否有不必要的重複執行,或是否用成本較高的做法處理簡單工作。
需要人來判斷的情況,也要明確寫進工作流程。以報價為例,金額超過部門上限、條件寫得不清楚,或內容即將寄給客戶時,流程就應該停下來,等待指定主管確認。如果現有的 AI Agent 無法改善某類工作,同仁也要能夠記錄原因,改回人工處理。採用率低不能直接被認定為表現不好,主管還要確認問題究竟是工具不適合、資料不足,還是同仁尚未學會使用。
EgentWrX 可以按照租戶、單位、成員與 AI Agent 分層設定費用預算,並在任一層的預算用完後,擋下後續使用;系統也會留下可匯出的稽核日誌,並可驗證其內容完整性。工作流可以設定人工核可關卡,讓 AI Agent 完成前段工作後先停下來,等待主管放行。這些機制不會替企業決定什麼才算成功,卻能協助主管在同一次檢查中,一起確認成果、支出與責任。下一步可以先排定每月檢查會議,明確訂出哪些情況要繼續使用、調整做法或停止使用。



