上线风险评估应围绕错误后果设计测试。一个内部摘要工具与能发送客户消息的助手,不能使用同一套放行标准。

列出危险路径

资料泄露、误发消息、业务越权、不可用和成本失控分别分析。

设置控制措施

高风险动作审批、资料权限过滤、频率限制与紧急停用。

演练异常输入

用诱导越权、缺资料和工具超时测试,记录实际结果。控制措施未通过时限制功能范围再上线。

风险评估围绕实际动作展开

列出资料访问、外部调用、写入与对外发布,分别检查错误影响及恢复方式。

高影响操作用权限、审批和结果核对约束;只测试模型回答礼貌,不能证明业务风险可控。

例如工具能修改客户资料,评估要包括身份、对象授权及回退,不能只检查回答是否含敏感词。

相关阅读:企业AI项目规划:试点、需求、ROI与验收。