業務請 AI Agent 整理報價,拿到的數字卻不正確;採購請 AI Agent 比對供應商條件,結果引用了不該使用的資料。如果公司只留下使用者最初輸入的內容與最後答案,事後就只能看到頭尾,至於中間呼叫了哪些工具、取得什麼資料、各項操作的順序為何,可能都查不出來。
iThome 報導,思科開源的 AI Agent 行為偵測工具 Project Quarry 會分析工具呼叫、工具執行結果、各項操作的先後順序,協助資安團隊找出可疑行為。報導也提醒,如果企業只保留輸入內容與最終回答,這些紀錄可能不足以還原整個操作過程。因此,企業在導入 AI Agent 前,必須先確認一件事:目前留下的資料,能不能讓 IT、資安與稽核人員重新檢查整段工作流程?
稽核紀錄至少要查得出三件事
第一件事是 AI Agent 做過哪些操作。除了使用者交辦的內容與最後產出,企業也要保留工具呼叫及工具回傳結果,否則出了問題,很難確認是模型判斷錯誤、沒有取得正確資料,還是後續工具執行失敗。以採購比價為例,如果最後的表格少了一家供應商,只看成品無法確認是搜尋時漏掉、連線時沒有取得資料,還是整理資料時誤刪了一列。
第二件事是各項操作的先後順序。AI Agent 會連續執行多個步驟,即使使用相同的工具與資料,順序不同也可能得到不同結果。因此,每次任務都要留下時間與步驟紀錄,調查人員才能從頭一路查到出錯的位置,不必拿著幾筆分散的紀錄猜測前後關係。
第三件事是誰曾查閱或匯出紀錄。稽核資料可能包含公司內部的工作內容,因此,企業除了追查 AI Agent 做過什麼,也要知道哪些人曾經取用這些紀錄。IT、資安與稽核單位可以先共同訂出紀錄的保留範圍、調閱方式、匯出程序與檢查週期,再挑一項實際任務演練,確認三個問題都查得到答案:做了什麼、順序為何、誰曾調閱。
EgentWrX 的稽核日誌涵蓋 55 種資源類型,可從匯出中心匯出,並以雜湊鏈(hash chain)確認前後紀錄是否曾被改動;管理者下載稽核紀錄時,系統也會留下紀錄。平台提供了查閱、匯出與驗證機制,不過,企業仍要先決定由哪些單位負責檢查、多久檢查一次,以及發現異常後交由誰處理。
留下完整紀錄後,仍要限制 AI Agent 能存取哪些資料
完整紀錄有助於事後追查,但無法取代事前的權限限制。Quarry 可檢查工具回傳的內容是否含有提示詞注入(prompt injection)指令,也就是藏在外部內容中、企圖改變 AI Agent 行為的指令;它也能檢查 AI Agent 是否偏離原定任務。不過,企業不能等到偵測工具發出警示,才處理不必要的連線與寫入權限。
專案團隊可以先為每項任務建立連線清單,列出 AI Agent 必須讀取的內部資料庫、必須使用的外部服務,以及每一條連線究竟需要讀取或寫入。如果業務人員製作報價時只需要查詢歷史訂單,專案團隊就只提供唯讀權限,不要連修改訂單的權限也一起開放;如果 AI Agent 執行品管工作時不需要使用公開網站,專案團隊也不必開放對外連線。
主管可以直接要求專案團隊回答:這個資料來源真的非用不可嗎?AI Agent 只要讀取資料,還是真的需要寫入?這個外部網域與任務有直接關係嗎?如果團隊說不清楚,就先不要開放,等負責單位說明用途後再決定;已經允許的連線也要定期檢查,確認業務上是否仍有需要。
發現異常時,流程要能立即停下來
思科的使用文件指出,企業可使用既有的 AI Agent 執行紀錄來測試及調整偵測規則,減少正常操作被誤判的情況,也可以在 AI Agent 執行工作時加入安全檢查。也就是說,企業不能只在上線前設定一次偵測規則,之後就不再調整,而要持續用實際紀錄測試,釐清哪些是正常工作,哪些情況必須由人員介入。
如果系統只是寄出警示,AI Agent 卻仍繼續對外傳送資料或執行下一個步驟,資安人員事後再看到紀錄也來不及阻止。企業可以先列出涉及金額、對外傳送、條件不明確或責任移轉的步驟,再分別指定核准人、放行條件與退回方式。風險較低的資料整理工作可以自動繼續;遇到高風險步驟時,工作流就要先停下來,等有權責的人確認後才能往下執行。
EgentWrX 對公司內部資料庫的整合只能讀取、不能寫入;對外連線預設全部拒絕,再按照各項任務的需要逐一開放網域。工作流也可設定交棒前必須經過人工核可,讓 AI Agent 做完前面的工作後先停下來等待放行。企業可以先挑一條真實流程演練,檢查紀錄能否清楚說明發出警示的原因、由誰核准,以及核准後採取了什麼動作。如果其中一段查不出來,就先補齊紀錄或核可方式,不要急著擴大使用範圍。



