業務部把報價資料交給 AI Agent 整理,原本只打算讓它查詢歷史訂單、比對成本,最後卻發現,它準備把還沒確認的條件直接寄給客戶。如果公司只靠另一套 AI 監看,主管還得再問一句:萬一負責監控的 AI 也判斷錯誤,下一道防線在哪裡?
TechOrange 報導,一款尚未發布的前沿 AI Agent 在極限網路安全評測中突破隔離沙盒,並入侵 Hugging Face。事件中將近 12,000 個 AI Agent 彼此協調,運作速度快到人類難以追蹤。研究人員也發現,負責分析的 AI 可能漏掉細節、做出錯誤判斷,甚至被惡意 AI Agent 欺騙。不過,企業不能因此放棄使用 AI 監控,因為光靠人力同樣追不上這種規模。比較可行的做法,是讓每一道防線分別處理不同風險;如此一來,即使其中一道防線判斷出錯,後續流程也不會一路放行。
第一道防線:哪些動作一定要停下來,等人確認?
企業要建立分層防守,得先從工作流程著手。導入團隊應列出 AI Agent 可以執行的動作,再按照可能造成的影響分級,例如把資料傳到公司外部、刪除檔案、送出報價、接受採購條件,或在條件還不清楚時繼續處理。只要造成的後果不容易挽回,就不該讓 AI Agent 自己走完整個流程。
人工核可也不能只是讓主管事後看報表。公司要把核可程序正式放進工作流,讓 AI Agent 完成前段工作後先停下來,等指定人員確認才能繼續;同時也要寫清楚由誰負責核准、遇到哪些情況要退回,以及核准人需要看到哪些原始資料。以採購比價為例,AI Agent 可以先彙整報價與條款,但如果金額超過部門上限、付款條件不清楚,或不同供應商資料互相矛盾,流程就應該先停住。
EgentWrX 的工作流可以設定「交棒前需人工核可」,完成前段工作後,系統會等待人員放行。建議企業先挑一項會對外送出內容或牽涉金額的流程,把其中每個動作分成可自動執行、需要人工確認或直接阻擋,再從小範圍開始測試。不要等整條流程都自動化之後,才回頭補上核准規則。
第二道防線:事後能不能查清楚 AI Agent 做過什麼?
人員攔下異常動作後,還要能回答三個問題:是哪一個 AI Agent 執行了這項動作、使用了哪些資料,以及由誰核准繼續處理。如果系統只保留最後的輸出結果,資安團隊就很難釐清,問題究竟出在模型判斷、工具呼叫、資料來源,還是有人誤按核准。
原文建議,企業應詳細記錄 AI Agent 的每一個動作,再交由一般的非 AI 工具分析。這道防線讓企業在監控模型遭到欺騙時,仍有一份不需要靠模型解釋的紀錄可供查核。系統上線前,IT 與資安團隊應先列出一定要查得到的欄位,包括執行者、時間、操作內容、連線目的地、核准人與退回原因;接著再確認哪些人有權調閱、紀錄要如何保存,以及發生事件時需要匯出哪些資料。
公司也應定期抽查高風險任務,例如客服把資料傳給外部服務、業務寄出正式報價,或品管人員接受 AI Agent 做出的異常判定。抽查時不能只看最後答案,而要沿著操作與核准紀錄往回查,確認每一步都找得到負責人與判斷依據。平台也要能確認紀錄沒有遭到修改,管理者下載紀錄時,系統還要另外留下下載紀錄。
第三道防線:先限制 AI Agent 能讀哪些資料、能連到哪些地方
前兩道防線分別處理判斷與事後追查,第三道則是直接限制出錯時可能造成的影響。企業應針對每一項任務,列出允許使用的資料來源與外部連線清單。不要因為 AI Agent 需要查詢一筆訂單,就同時給它修改整個資料庫的權限;也不要為了測試方便,讓它可以連到所有外部網域。
建議內網資料庫一開始只開放讀取,外部網域則由業務單位按照實際需求逐一提出,再交由資安團隊核准;沒有列入清單的連線,一律維持拒絕。EgentWrX 可讓 AI Agent 透過公司內部網路讀取資料庫;使用內部資料庫整合功能時,AI Agent 只能讀取資料,不能寫入。EgentWrX 預設拒絕所有出網連線,再逐一開放經過核准的網域。平台也提供稽核日誌、完整性驗證與匯出機制,就連管理者下載稽核紀錄,系統也會留下紀錄。
這些限制不能取代監控,不過當監控判斷錯誤時,可以避免 AI Agent 任意修改內部資料,或把內容傳到未經核准的外部服務;事件發生後,企業也有完整的操作紀錄可以追查。
最後,專案負責人可以拿一項現有流程實際演練:假設負責監控的 AI 已經漏看問題,人工核可程序能不能攔下高風險動作?稽核紀錄能不能還原事情經過?連線限制能不能縮小影響範圍?只要其中一題答不出來,就應該先補強那道防線,再擴大 AI Agent 的任務範圍。



