AI Agent 安全检视指南
AI Agent 可以读取资料、使用工具和触发工作流程;安全设计要检视系统实际能做什么,而不只是模型回答什么。这份指南把常见控制整理为项目前期盘点清单,供企业与技术团队讨论。
先列清楚 Agent 能接触什么
盘点用户身份、资料来源、记忆或检索内容、外部 API、工具、服务账户和写入位置。每项连接标明 owner、资料分类、使用目的、允许动作及审批人;按用户或工作阶段隔离资料。
用最小权限限制工具
只开启任务需要的工具和资源。能读取就不预设可修改或删除;将读取、草拟、写入和外发分开授权。移除不再使用的工具,限制可调用的 API、文件路径、收件人和操作次数。
把生成结果视为待验证资料
外来文件、电邮、网页和 API 回应可能包含恶意或误导内容。Agent 输出在进入数据库、程序、付款、客户记录或公开发布前,应通过格式与业务规则验证。不可让模型输出自行成为授权依据。
高影响操作要有人批准
转账、改变权限、删除资料、发送外部消息、更新正式记录或发布内容,宜分离建议与执行,使用明确批准和可追溯的操作日志。设置工具调用、重试、递归、时间及成本上限,并测试例外和人工接管。
变更后重做风险检视
模型、提示、检索资料、工具、记忆、权限或第三方服务变更,都可能改变风险。记录测试样本、预期结果、例外处理和批准人;上线后定期检查拒绝率、人工修正、异常工具调用和成本。指标用于发现问题,不是预先承诺成效。
参考资料
SRAA 准备指南
SRAA 准备指南 · System security engineering · AI Agent workflow planning