← 返回觀點
/智慧方案FDE團隊

工具安裝時正常,為什麼後來卻可能執行惡意操作?

供應者提供的工具說明,可能讓 AI Agent 改變原本的執行計畫。接入後要持續檢查變更、限制對外連線,並訂出記憶寫入與異常處理方式。

AIEgentWrX導入人機協作
工具安裝時正常,為什麼後來卻可能執行惡意操作?

工具剛接好時,AI Agent 能照要求查詢資料,負責導入的同仁也確認過結果;但如果供應者後來改了工具說明,公司會有人知道嗎?又該由誰決定能不能繼續使用?AI Agent 會根據供應者的文字說明選擇工具,因此企業透過 MCP(Model Context Protocol)這類協定串接工具後,不能因為安裝時一切正常,就認為往後都安全。

智慧方案認為,安全檢查不能停在驗收,日常使用也要持續管理。工具有變更時,要有人重新檢查;對外連線只能用在核准的用途,長期保留的記憶也要有人管理。即使模型本身受過安全訓練,企業仍應確認工具能讀哪些資料、能把資料送到哪裡,以及哪些操作必須先經過人員同意。

工具裝好後才被修改,原本的檢查還夠嗎?

iThome 報導,美國國家標準暨技術研究院(NIST)的攻擊分類草案指出,攻擊者可能先提供正常的 MCP 伺服器,等使用者安裝後才修改工具說明,誘使 AI Agent 在沒有再次取得使用者同意的情況下,執行惡意操作。草案也介紹了工具中毒(Tool Poisoning)的手法,也就是把惡意指令藏進工具說明,影響 AI Agent 選擇哪些工具、安排哪些執行步驟。草案引用的研究指出,即使模型已受過安全訓練,仍不足以阻止攻擊者透過合法工具介面,誘使模型執行惡意操作。

草案建議使用密碼學簽章(cryptographic signatures)與不可變更的版本識別碼,查核工具定義的來源與版本,並用沙箱(sandbox)讓工具在隔離的環境中執行。不過,這份文件仍在公開徵詢意見,報導也沒有提供攻擊成功率或企業受害案例,不能因此認定每個工具都有問題。企業可以依照這些建議,整理出驗收時要請供應者說明的事項。

建議 IT 建立工具清單,逐項記錄供應者、業務用途、可讀取的資料、需要連線的外部網域,以及負責重新檢查的人員。接著,請供應者提出證據,說明如何驗證工具定義、如何隔離工具的執行環境,也要問清楚更新時會怎麼通知、如何比對變更內容,不能只接受「已經串接成功」的回覆。

如果工具說明、資料存取範圍或對外連線有變更,建議先由 IT 檢查改了哪些內容,再由業務負責人確認用途。在完成確認之前,應暫停受影響的工作;恢復使用前,再用原本的工作情境測試,確認工具沒有讀取超出許可範圍的資料,也沒有增加未經核准的操作。

只能讀資料,為什麼還要管對外連線?

假設採購部門要讓 AI Agent 查詢歷史進價,再整理比價建議,這項工作雖然需要讀取資料,卻不代表 AI Agent 可以修改採購紀錄,或把整份價格清單送到外部服務。以這個假設情境來說,設計流程時,建議業務主管先列出需要哪些資料、允許用來做哪些事,再請 IT 依照清單設定存取範圍。

以 EgentWrX 為例,出網白名單(egress allowlist)預設拒絕所有對外連線,由管理者逐一放行網域;「公司內部的資料庫」整合則只能讀、不能寫。企業可以用這些機制限制操作範圍,但不能認為所有 MCP 工具都和資料庫整合一樣只能讀取資料,也不能只限制對外連線,就省略工具定義的驗證或沙箱隔離。

唯讀可以限制資料修改,卻無法保證資料不會外流。因此,建議 IT 一併確認查詢結果能送往哪些已放行的服務,業務主管則要核定哪些欄位可以提供給哪些對象。如果工作流程需要把資料送出公司,應先安排人員確認收件對象與內容,不能因為某個網域已獲准連線,就允許所有查詢結果都送過去。

記憶愈存愈多,發現異常要怎麼處理?

一次遭到攻擊,也可能影響後續任務。上述報導中的草案提醒,攻擊者可能把惡意內容留在長期記憶中;隨著工作資料愈積愈多,AI Agent 也可能愈來愈不遵守先前的指令與限制。因此,我們建議日常檢查也要包含記憶內容,尤其是那些會影響後續工作判斷的紀錄。

例如,採購同仁處理某次急件時取得例外許可,企業就應確認 AI Agent 是否會把這次特例記成往後都適用的規則。建議業務主管與 IT 共同訂出記憶寫入規則,說清楚涉及公司規定、敏感背景資訊或會影響後續判斷的內容,要由誰確認、依據什麼確認,再決定是否保留。

EgentWrX 可以讓使用者查看、修改與刪除記憶,也能設定直接寫入、需審核或需核可的分級政策,企業可依內容的風險選擇管理方式。不過,有這些管理功能,不代表就能自動辨識記憶中毒(memory poisoning),也就是有人把會誤導後續工作的惡意內容寫入記憶;負責人仍須檢查記憶的內容與來源。

如果 AI Agent 在不同任務中持續出現異常做法,建議先暫停相關工作,記錄問題發生時的情境並保留可疑內容,再由負責人查看、修正或刪除記憶,接著用相同情境重新測試。草案也提醒,如果遭到中毒的是模型本身,或是後續用來調整模型的部分,重新啟動或還原系統可能仍無法清除問題。因此,若異常持續出現,應交由 IT 與供應者調查,不能因為刪除了記憶,就認定風險已經排除。

常見問題

MCP 工具安裝時測試正常,就足以通過安全驗收嗎?
不夠,因為攻擊者可能在安裝後才修改工具說明,原本的測試無法證明後續版本也安全。建議指定人員負責檢查變更,要求供應者提供版本與更新紀錄,再用實際工作情境重新驗收。
資料庫設成唯讀,就能防止資料外流嗎?
不能,唯讀限制的是修改資料,不代表讀取後的資料不會被送到外部。除了確認資料庫禁止寫入,也要一併檢查工具能讀哪些欄位、查詢結果能送到哪些服務,以及送出前由誰確認內容。
發現異常後,刪除記憶或重新啟動就能恢復使用嗎?
不能,刪除記憶或重新啟動,都不足以證明風險已經排除。建議先暫停相關工作,記錄異常發生時的情境,處理可疑記憶後再重新測試;如果問題持續出現,就交由 IT 與供應者調查其他可能原因。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證