工具剛接好時,AI Agent 能照要求查詢資料,負責導入的同仁也確認過結果;但如果供應者後來改了工具說明,公司會有人知道嗎?又該由誰決定能不能繼續使用?AI Agent 會根據供應者的文字說明選擇工具,因此企業透過 MCP(Model Context Protocol)這類協定串接工具後,不能因為安裝時一切正常,就認為往後都安全。
智慧方案認為,安全檢查不能停在驗收,日常使用也要持續管理。工具有變更時,要有人重新檢查;對外連線只能用在核准的用途,長期保留的記憶也要有人管理。即使模型本身受過安全訓練,企業仍應確認工具能讀哪些資料、能把資料送到哪裡,以及哪些操作必須先經過人員同意。
工具裝好後才被修改,原本的檢查還夠嗎?
iThome 報導,美國國家標準暨技術研究院(NIST)的攻擊分類草案指出,攻擊者可能先提供正常的 MCP 伺服器,等使用者安裝後才修改工具說明,誘使 AI Agent 在沒有再次取得使用者同意的情況下,執行惡意操作。草案也介紹了工具中毒(Tool Poisoning)的手法,也就是把惡意指令藏進工具說明,影響 AI Agent 選擇哪些工具、安排哪些執行步驟。草案引用的研究指出,即使模型已受過安全訓練,仍不足以阻止攻擊者透過合法工具介面,誘使模型執行惡意操作。
草案建議使用密碼學簽章(cryptographic signatures)與不可變更的版本識別碼,查核工具定義的來源與版本,並用沙箱(sandbox)讓工具在隔離的環境中執行。不過,這份文件仍在公開徵詢意見,報導也沒有提供攻擊成功率或企業受害案例,不能因此認定每個工具都有問題。企業可以依照這些建議,整理出驗收時要請供應者說明的事項。
建議 IT 建立工具清單,逐項記錄供應者、業務用途、可讀取的資料、需要連線的外部網域,以及負責重新檢查的人員。接著,請供應者提出證據,說明如何驗證工具定義、如何隔離工具的執行環境,也要問清楚更新時會怎麼通知、如何比對變更內容,不能只接受「已經串接成功」的回覆。
如果工具說明、資料存取範圍或對外連線有變更,建議先由 IT 檢查改了哪些內容,再由業務負責人確認用途。在完成確認之前,應暫停受影響的工作;恢復使用前,再用原本的工作情境測試,確認工具沒有讀取超出許可範圍的資料,也沒有增加未經核准的操作。
只能讀資料,為什麼還要管對外連線?
假設採購部門要讓 AI Agent 查詢歷史進價,再整理比價建議,這項工作雖然需要讀取資料,卻不代表 AI Agent 可以修改採購紀錄,或把整份價格清單送到外部服務。以這個假設情境來說,設計流程時,建議業務主管先列出需要哪些資料、允許用來做哪些事,再請 IT 依照清單設定存取範圍。
以 EgentWrX 為例,出網白名單(egress allowlist)預設拒絕所有對外連線,由管理者逐一放行網域;「公司內部的資料庫」整合則只能讀、不能寫。企業可以用這些機制限制操作範圍,但不能認為所有 MCP 工具都和資料庫整合一樣只能讀取資料,也不能只限制對外連線,就省略工具定義的驗證或沙箱隔離。
唯讀可以限制資料修改,卻無法保證資料不會外流。因此,建議 IT 一併確認查詢結果能送往哪些已放行的服務,業務主管則要核定哪些欄位可以提供給哪些對象。如果工作流程需要把資料送出公司,應先安排人員確認收件對象與內容,不能因為某個網域已獲准連線,就允許所有查詢結果都送過去。
記憶愈存愈多,發現異常要怎麼處理?
一次遭到攻擊,也可能影響後續任務。上述報導中的草案提醒,攻擊者可能把惡意內容留在長期記憶中;隨著工作資料愈積愈多,AI Agent 也可能愈來愈不遵守先前的指令與限制。因此,我們建議日常檢查也要包含記憶內容,尤其是那些會影響後續工作判斷的紀錄。
例如,採購同仁處理某次急件時取得例外許可,企業就應確認 AI Agent 是否會把這次特例記成往後都適用的規則。建議業務主管與 IT 共同訂出記憶寫入規則,說清楚涉及公司規定、敏感背景資訊或會影響後續判斷的內容,要由誰確認、依據什麼確認,再決定是否保留。
EgentWrX 可以讓使用者查看、修改與刪除記憶,也能設定直接寫入、需審核或需核可的分級政策,企業可依內容的風險選擇管理方式。不過,有這些管理功能,不代表就能自動辨識記憶中毒(memory poisoning),也就是有人把會誤導後續工作的惡意內容寫入記憶;負責人仍須檢查記憶的內容與來源。
如果 AI Agent 在不同任務中持續出現異常做法,建議先暫停相關工作,記錄問題發生時的情境並保留可疑內容,再由負責人查看、修正或刪除記憶,接著用相同情境重新測試。草案也提醒,如果遭到中毒的是模型本身,或是後續用來調整模型的部分,重新啟動或還原系統可能仍無法清除問題。因此,若異常持續出現,應交由 IT 與供應者調查,不能因為刪除了記憶,就認定風險已經排除。



