AI Agent 安全檢視指南
AI Agent 可以讀取資料、使用工具和觸發工作流程;安全設計要檢視系統實際能做甚麼,而不只是模型回答甚麼。這份指南把常見控制整理為項目前期盤點清單,供企業與技術團隊討論。
先列清楚 Agent 能接觸甚麼
盤點使用者身分、資料來源、記憶或檢索內容、外部 API、工具、服務帳戶和寫入位置。每項連接標明 owner、資料分類、使用目的、允許動作及審批人;按使用者或工作階段隔離資料。
用最小權限限制工具
只開啟任務需要的工具和資源。能讀取就不預設可修改或刪除;將讀取、草擬、寫入和外發分開授權。移除不再使用的工具,限制可呼叫的 API、檔案路徑、收件人和操作次數。
把生成結果視為待驗證資料
外來文件、電郵、網頁和 API 回應可能包含惡意或誤導內容。Agent 輸出在進入資料庫、程式、付款、客戶記錄或公開發布前,應通過格式與業務規則驗證。不可讓模型輸出自行成為授權依據。
高影響操作要有人批准
轉帳、改變權限、刪除資料、發送外部訊息、更新正式紀錄或發布內容,宜分離建議與執行,使用明確批准和可追溯的操作日誌。設置工具呼叫、重試、遞迴、時間及成本上限,並測試例外和人工接管。
變更後重做風險檢視
模型、提示、檢索資料、工具、記憶、權限或第三方服務變更,都可能改變風險。記錄測試樣本、預期結果、例外處理和批准人;上線後定期檢查拒絕率、人工修正、異常工具呼叫和成本。指標應用來發現問題,不是預先承諾成效。
參考資料
SRAA 準備指南
SRAA 準備指南 · System security engineering · AI Agent workflow planning