智能体工具可控性,要限制它能做的事并核实真实结果。执行成功的工具响应与模型口头说完成,是两个不同的信息来源。
使用白名单
只开放明确业务工具,对参数、资源和调用次数限制,禁止任意命令执行。
确认敏感动作
界面展示目标与影响,授权人批准后执行,审批只对这次动作有效。
核对执行结果
查询实际业务状态,保存审计与失败原因。提供停止入口,取消后不继续执行排队任务。
审批应绑定这一次实际动作
展示工具、对象和参数,审批后参数变化需重新确认,不能使用一次授权执行更多操作。
任务编号用于去重,超时后先查状态;最终结果读回业务系统核对,不能只听模型声明完成。
例如审批同意修改数量后对象改变,需要重新审批,旧授权不能覆盖不同订单。
相关阅读:企业AI应用权限与审批:查询、写入和审计边界。