上线风险评估应围绕错误后果设计测试。一个内部摘要工具与能发送客户消息的助手,不能使用同一套放行标准。
列出危险路径
资料泄露、误发消息、业务越权、不可用和成本失控分别分析。
设置控制措施
高风险动作审批、资料权限过滤、频率限制与紧急停用。
演练异常输入
用诱导越权、缺资料和工具超时测试,记录实际结果。控制措施未通过时限制功能范围再上线。
风险评估围绕实际动作展开
列出资料访问、外部调用、写入与对外发布,分别检查错误影响及恢复方式。
高影响操作用权限、审批和结果核对约束;只测试模型回答礼貌,不能证明业务风险可控。
例如工具能修改客户资料,评估要包括身份、对象授权及回退,不能只检查回答是否含敏感词。
相关阅读:企业AI项目规划:试点、需求、ROI与验收。