← 返回觀點
/智慧方案FDE團隊

AI Agent 出錯時,企業怎麼查出原因、及早攔下?

思科開源 Quarry,提醒企業工具呼叫、執行結果與操作順序都要留下。這篇說明怎麼還原過程、限制連線,並在高風險步驟等人放行。

AIEgentWrX人機協作導入
AI Agent 出錯時,企業怎麼查出原因、及早攔下?

業務請 AI Agent 整理報價,拿到的數字卻不正確;採購請 AI Agent 比對供應商條件,結果引用了不該使用的資料。如果公司只留下使用者最初輸入的內容與最後答案,事後就只能看到頭尾,至於中間呼叫了哪些工具、取得什麼資料、各項操作的順序為何,可能都查不出來。

iThome 報導,思科開源的 AI Agent 行為偵測工具 Project Quarry 會分析工具呼叫、工具執行結果、各項操作的先後順序,協助資安團隊找出可疑行為。報導也提醒,如果企業只保留輸入內容與最終回答,這些紀錄可能不足以還原整個操作過程。因此,企業在導入 AI Agent 前,必須先確認一件事:目前留下的資料,能不能讓 IT、資安與稽核人員重新檢查整段工作流程?

稽核紀錄至少要查得出三件事

第一件事是 AI Agent 做過哪些操作。除了使用者交辦的內容與最後產出,企業也要保留工具呼叫及工具回傳結果,否則出了問題,很難確認是模型判斷錯誤、沒有取得正確資料,還是後續工具執行失敗。以採購比價為例,如果最後的表格少了一家供應商,只看成品無法確認是搜尋時漏掉、連線時沒有取得資料,還是整理資料時誤刪了一列。

第二件事是各項操作的先後順序。AI Agent 會連續執行多個步驟,即使使用相同的工具與資料,順序不同也可能得到不同結果。因此,每次任務都要留下時間與步驟紀錄,調查人員才能從頭一路查到出錯的位置,不必拿著幾筆分散的紀錄猜測前後關係。

第三件事是誰曾查閱或匯出紀錄。稽核資料可能包含公司內部的工作內容,因此,企業除了追查 AI Agent 做過什麼,也要知道哪些人曾經取用這些紀錄。IT、資安與稽核單位可以先共同訂出紀錄的保留範圍、調閱方式、匯出程序與檢查週期,再挑一項實際任務演練,確認三個問題都查得到答案:做了什麼、順序為何、誰曾調閱。

EgentWrX 的稽核日誌涵蓋 55 種資源類型,可從匯出中心匯出,並以雜湊鏈(hash chain)確認前後紀錄是否曾被改動;管理者下載稽核紀錄時,系統也會留下紀錄。平台提供了查閱、匯出與驗證機制,不過,企業仍要先決定由哪些單位負責檢查、多久檢查一次,以及發現異常後交由誰處理。

留下完整紀錄後,仍要限制 AI Agent 能存取哪些資料

完整紀錄有助於事後追查,但無法取代事前的權限限制。Quarry 可檢查工具回傳的內容是否含有提示詞注入(prompt injection)指令,也就是藏在外部內容中、企圖改變 AI Agent 行為的指令;它也能檢查 AI Agent 是否偏離原定任務。不過,企業不能等到偵測工具發出警示,才處理不必要的連線與寫入權限。

專案團隊可以先為每項任務建立連線清單,列出 AI Agent 必須讀取的內部資料庫、必須使用的外部服務,以及每一條連線究竟需要讀取或寫入。如果業務人員製作報價時只需要查詢歷史訂單,專案團隊就只提供唯讀權限,不要連修改訂單的權限也一起開放;如果 AI Agent 執行品管工作時不需要使用公開網站,專案團隊也不必開放對外連線。

主管可以直接要求專案團隊回答:這個資料來源真的非用不可嗎?AI Agent 只要讀取資料,還是真的需要寫入?這個外部網域與任務有直接關係嗎?如果團隊說不清楚,就先不要開放,等負責單位說明用途後再決定;已經允許的連線也要定期檢查,確認業務上是否仍有需要。

發現異常時,流程要能立即停下來

思科的使用文件指出,企業可使用既有的 AI Agent 執行紀錄來測試及調整偵測規則,減少正常操作被誤判的情況,也可以在 AI Agent 執行工作時加入安全檢查。也就是說,企業不能只在上線前設定一次偵測規則,之後就不再調整,而要持續用實際紀錄測試,釐清哪些是正常工作,哪些情況必須由人員介入。

如果系統只是寄出警示,AI Agent 卻仍繼續對外傳送資料或執行下一個步驟,資安人員事後再看到紀錄也來不及阻止。企業可以先列出涉及金額、對外傳送、條件不明確或責任移轉的步驟,再分別指定核准人、放行條件與退回方式。風險較低的資料整理工作可以自動繼續;遇到高風險步驟時,工作流就要先停下來,等有權責的人確認後才能往下執行。

EgentWrX 對公司內部資料庫的整合只能讀取、不能寫入;對外連線預設全部拒絕,再按照各項任務的需要逐一開放網域。工作流也可設定交棒前必須經過人工核可,讓 AI Agent 做完前面的工作後先停下來等待放行。企業可以先挑一條真實流程演練,檢查紀錄能否清楚說明發出警示的原因、由誰核准,以及核准後採取了什麼動作。如果其中一段查不出來,就先補齊紀錄或核可方式,不要急著擴大使用範圍。

常見問題

只保留提示詞與最後答案,能不能稽核 AI Agent?
無法完整稽核。提示詞與最後答案只能呈現任務的起點與終點;如果沒有保留工具呼叫、工具回傳結果及操作順序,調查人員就很難確認是哪一個步驟出錯,也無法判斷 AI Agent 是否偏離原定任務。
AI Agent 的操作紀錄至少要包含哪些內容?
至少要保留使用者輸入、最終回答、工具呼叫、工具回傳結果、操作順序,以及誰曾查閱或匯出紀錄。企業也要為同一項任務建立能串起前後步驟的識別資料,再用真實任務測試,確認調查人員能不能從頭還原整個過程。
有完整稽核紀錄後,還需要限制連線嗎?
需要。紀錄是供事後追查使用,連線限制則能事先縮小 AI Agent 可以接觸及改動資料的範圍。內部資料庫可以先採唯讀,對外網域則先預設拒絕,再按照每項任務的實際需要逐一開放。
偵測到可疑行為後,AI Agent 要立刻停止嗎?
執行到高風險步驟時,應先停下來等待人員確認。企業可以先列出金額超限、對外傳送、條件不明確及責任移轉等情況,並指定核准人、放行條件與退回方式;風險較低的步驟是否繼續,則按照公司的內部規則決定。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證