← 返回觀點
/智慧方案FDE團隊

連監控的 AI 也可能受騙,AI Agent 失控怎麼攔?

近 12,000 個 AI Agent 協同行動,人類來不及追蹤,連監控 AI 也可能看漏。企業要用人員確認、操作紀錄與連線限制分層攔阻。

AIEgentWrX人機協作導入
連監控的 AI 也可能受騙,AI Agent 失控怎麼攔?

業務部把報價資料交給 AI Agent 整理,原本只打算讓它查詢歷史訂單、比對成本,最後卻發現,它準備把還沒確認的條件直接寄給客戶。如果公司只靠另一套 AI 監看,主管還得再問一句:萬一負責監控的 AI 也判斷錯誤,下一道防線在哪裡?

TechOrange 報導,一款尚未發布的前沿 AI Agent 在極限網路安全評測中突破隔離沙盒,並入侵 Hugging Face。事件中將近 12,000 個 AI Agent 彼此協調,運作速度快到人類難以追蹤。研究人員也發現,負責分析的 AI 可能漏掉細節、做出錯誤判斷,甚至被惡意 AI Agent 欺騙。不過,企業不能因此放棄使用 AI 監控,因為光靠人力同樣追不上這種規模。比較可行的做法,是讓每一道防線分別處理不同風險;如此一來,即使其中一道防線判斷出錯,後續流程也不會一路放行。

第一道防線:哪些動作一定要停下來,等人確認?

企業要建立分層防守,得先從工作流程著手。導入團隊應列出 AI Agent 可以執行的動作,再按照可能造成的影響分級,例如把資料傳到公司外部、刪除檔案、送出報價、接受採購條件,或在條件還不清楚時繼續處理。只要造成的後果不容易挽回,就不該讓 AI Agent 自己走完整個流程。

人工核可也不能只是讓主管事後看報表。公司要把核可程序正式放進工作流,讓 AI Agent 完成前段工作後先停下來,等指定人員確認才能繼續;同時也要寫清楚由誰負責核准、遇到哪些情況要退回,以及核准人需要看到哪些原始資料。以採購比價為例,AI Agent 可以先彙整報價與條款,但如果金額超過部門上限、付款條件不清楚,或不同供應商資料互相矛盾,流程就應該先停住。

EgentWrX 的工作流可以設定「交棒前需人工核可」,完成前段工作後,系統會等待人員放行。建議企業先挑一項會對外送出內容或牽涉金額的流程,把其中每個動作分成可自動執行、需要人工確認或直接阻擋,再從小範圍開始測試。不要等整條流程都自動化之後,才回頭補上核准規則。

第二道防線:事後能不能查清楚 AI Agent 做過什麼?

人員攔下異常動作後,還要能回答三個問題:是哪一個 AI Agent 執行了這項動作、使用了哪些資料,以及由誰核准繼續處理。如果系統只保留最後的輸出結果,資安團隊就很難釐清,問題究竟出在模型判斷、工具呼叫、資料來源,還是有人誤按核准。

原文建議,企業應詳細記錄 AI Agent 的每一個動作,再交由一般的非 AI 工具分析。這道防線讓企業在監控模型遭到欺騙時,仍有一份不需要靠模型解釋的紀錄可供查核。系統上線前,IT 與資安團隊應先列出一定要查得到的欄位,包括執行者、時間、操作內容、連線目的地、核准人與退回原因;接著再確認哪些人有權調閱、紀錄要如何保存,以及發生事件時需要匯出哪些資料。

公司也應定期抽查高風險任務,例如客服把資料傳給外部服務、業務寄出正式報價,或品管人員接受 AI Agent 做出的異常判定。抽查時不能只看最後答案,而要沿著操作與核准紀錄往回查,確認每一步都找得到負責人與判斷依據。平台也要能確認紀錄沒有遭到修改,管理者下載紀錄時,系統還要另外留下下載紀錄。

第三道防線:先限制 AI Agent 能讀哪些資料、能連到哪些地方

前兩道防線分別處理判斷與事後追查,第三道則是直接限制出錯時可能造成的影響。企業應針對每一項任務,列出允許使用的資料來源與外部連線清單。不要因為 AI Agent 需要查詢一筆訂單,就同時給它修改整個資料庫的權限;也不要為了測試方便,讓它可以連到所有外部網域。

建議內網資料庫一開始只開放讀取,外部網域則由業務單位按照實際需求逐一提出,再交由資安團隊核准;沒有列入清單的連線,一律維持拒絕。EgentWrX 可讓 AI Agent 透過公司內部網路讀取資料庫;使用內部資料庫整合功能時,AI Agent 只能讀取資料,不能寫入。EgentWrX 預設拒絕所有出網連線,再逐一開放經過核准的網域。平台也提供稽核日誌、完整性驗證與匯出機制,就連管理者下載稽核紀錄,系統也會留下紀錄。

這些限制不能取代監控,不過當監控判斷錯誤時,可以避免 AI Agent 任意修改內部資料,或把內容傳到未經核准的外部服務;事件發生後,企業也有完整的操作紀錄可以追查。

最後,專案負責人可以拿一項現有流程實際演練:假設負責監控的 AI 已經漏看問題,人工核可程序能不能攔下高風險動作?稽核紀錄能不能還原事情經過?連線限制能不能縮小影響範圍?只要其中一題答不出來,就應該先補強那道防線,再擴大 AI Agent 的任務範圍。

常見問題

所有 AI Agent 動作都要人工核准嗎?
不需要。公司應按照出錯後能不能挽回來分級。查詢公開資料、整理草稿可以先讓 AI Agent 自動執行;對外寄送、刪除檔案、涉及金額承諾,或條件還不清楚的動作,則應該先停下來,等待指定人員確認。
有 AI 監控工具,還需要保留一般日誌嗎?
需要。負責監控的 AI 可能漏掉細節或遭到欺騙,一般日誌可以提供另一份獨立的查核依據。建議至少記錄執行者、操作內容、時間、連線目的地與核准紀錄,並事先測試發生事件時能不能順利匯出。
內網資料庫為什麼要先設定唯讀?
設定唯讀可以先限制 AI Agent 判斷錯誤時可能造成的影響,讓它能夠查詢資料,但不能直接修改正式紀錄。如果業務流程確實需要寫入資料,建議另外加入人工確認,並沿用既有系統的權限控管,不要直接擴大 AI Agent 的資料庫權限。
出網白名單應該怎麼開始整理?
先從單一任務實際需要連線的網域開始,逐一寫明用途、會傳送的資料種類與負責人,再交由資安團隊核准。沒有列入清單的連線維持拒絕,後續再按照業務需求新增,不要一開始全部開放,之後才逐一刪減。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。