假設你請 AI Agent 開發採購比價工具,展示時能讀取報價單,也能列出建議的供應商,但換成缺少運費、使用不同幣別的報價資料,這份建議還能採用嗎?主管驗收時,不能只看展示有沒有產出結果,還要確認程式遇到例外情況時,能不能按照公司的規則處理。智慧方案的看法是,先把規格訂清楚,讓團隊能依照規格反覆測試、確認結果,再決定要讓多少 AI Agent 分工。
iThome 報導,AWS 推出由自主 AI Agent 開發的 AWS Emulator,工程團隊沒有撰寫或審查產品程式碼,不過,AWS 並沒有省略驗證工作:團隊依照既有規格產生測試,再比對模擬器與真正的雲端服務在相同情況下如何運作,並把測試、找出差異與修正的工作交給不同組負責。企業可以參考這套查核方式,但不宜直接把未經人工審查的開發模式搬進公司。
驗收之前,先說清楚什麼結果才算對
AWS 有既有規格與真正的服務可以比對;企業開發內部工具,也應先確認要根據什麼來判斷結果是否正確。建議由業務與 IT 共同整理驗收清單,業務確認工作規則,IT 則確認能不能把這些規則寫成可執行的測試,避免等到開發完成,才發現雙方對需求的理解不同。
以採購比價工具為例,如果需求只寫「找出最划算的供應商」,開發者就無法確定該比較單價、含運總價,還是符合交期要求的總成本。因此,建議每個測試案例都寫清楚以下內容,讓驗收人員拿到相同資料時,都能說明結果為什麼正確:
- 輸入資料:列出報價單版本、幣別、數量與交期,並固定測試使用的資料,避免前後測試拿到不同內容。
- 預期輸出:寫明要比較什麼,以及結果必須包含哪些欄位。例如,採購若決定以含運總價比較,就應要求結果附上費用明細與計算依據。
- 異常處理:缺少運費或無法確認匯率時,應標示資料不足,交由採購確認,不能自行假設缺少的資料,再照常排出供應商名次。
- 比對依據:附上採購確認過的規則與人工核對結果;如果要沿用舊系統的結果,也要先確認這些結果符合這次的需求。
如果輸出的是文字說明,建議檢查必要資訊是否齊全、引用是否正確,以及有沒有加入缺乏依據的結論,不必要求每次用字遣詞完全相同。不過,業務與 IT 如果對預期結果仍有不同看法,就應先把規格補充清楚,或縮小試行範圍,不要讓 AI Agent 自行決定公司的採購標準。
每次修改後,都要留下實際測試結果
展示成功,只能證明當次操作得到了展示的結果,無法確認換了資料或情境後是否仍然正確。因此,建議保留展示用的資料,作為測試案例,再加入缺少欄位、資料重複與服務連線失敗等情境。IT 應在既有測試環境執行程式,核對實際輸出,以及程式後續執行的動作;如果工具會寫入資料,就要確認資料是否真的寫入、內容是否正確,不能只看畫面顯示成功。
每次修改後,除了重新測試原本失敗的案例,也應檢查可能受到影響的既有功能。例如,修改含運總價的計算方式後,就應重新確認供應商排名是否正確,不能只看費用欄位有沒有出現。測試紀錄建議保留程式版本、輸入資料、預期結果與實際結果,並寫下重現測試的操作步驟,讓另一位同仁也能照著查核。
業務主管與 IT 最好事先約定,出現哪些錯誤就不能上線,例如金額計算錯誤、取得權限範圍以外的資料、跳過必要簽核。尚未通過的項目則列入待修清單,寫清楚會造成什麼影響、由誰負責修正。回報時不能只列出整體通過比例,因為主管還需要知道,未通過的項目會不會影響付款或對外承諾。
EgentWrX 的技能(Skill)可以用來整理固定做法,例如開發前確認規格、交付時列出測試案例與差異,讓 AI Agent 之後做同類工作時可以沿用。不過,技能提供的是工作規則,實際測試仍應由 IT 在測試環境執行;驗收時必須拿到執行紀錄,不能因為檢查步驟已經寫好,就認為檢查已經通過。
分工之前,先約定每一組要交付什麼
建議先釐清各組的工作與責任,再決定是否增加 AI Agent。負責整理測試案例的人,要交出輸入資料、預期結果與判斷依據;負責分析差異的人,要指出哪個案例沒有通過、實際結果與預期差在哪裡;負責修正的人,則要說明改了什麼、可能影響哪些功能,再交由 IT 重新執行相關測試。
EgentWrX 提供子代理(Sub-agent)分工,也就是讓主 AI Agent 把工作交給不同的 AI Agent,並可將經常合作的成員組成編隊、設定委派容量上限。企業可以依照上述各組應交付的內容安排分工,不過,即使不同成員都認為結果正確,也不代表已經驗證過;驗收時仍須依照業務確認的規格,核對實際執行結果。
下次開發驗收會議,建議先挑一項範圍明確的內部需求,請業務主管確認驗收清單,並請 IT 示範如何重新執行測試,再一起檢視未通過的項目。正式使用前,由業務主管核准工具可以用在哪些工作上,並由 IT 確認技術風險;如果連結果該拿什麼來比對都說不清楚,就應先補齊規格,增加 AI Agent 分工也解決不了這個問題。



