AI系统返回HTTP200不代表任务成功。监控要覆盖接口可用性、业务完成、资料来源、回答质量和费用,同时避免把所有输入输出长期保存成新的敏感数据仓库。
一条任务串起不同环节
给任务设置关联标识,连接检索、模型请求、工具操作和最终结果。记录使用的模型、提示词、知识库版本和调用权限范围,才能判断错误来自资料、配置还是执行接口。
建立有业务意义的告警
观察无答案比例、人工接手失败、工具超时和费用异常。低风险文案和客户业务查询使用不同阈值;少量特殊请求不能触发全员告警。告警必须指定负责人、处理步骤与升级渠道。
质量变化用回归集确认
保存经过核实的评测样例,模型或知识库变化后比较答案、引用与失败处理。用户反馈应先复核再进入测试集,防止错误反馈直接污染知识库。生产效果同时关注人工修改量与任务完成率。
日志有访问与保留边界
尽量记录结构化摘要及标识,不直接保存口令、密钥、身份证或完整客户附件。必要的内容日志设访问权限、脱敏和期限。事故排查结束后及时处理临时抓取的明文资料。
质量与运行监控要关联版本
错误记录同时带上模型、提示词、知识库及接口版本,方便定位更新后出现的问题。
费用或超时异常可自动提醒;回答质量仍需要抽样核对,接口返回成功不能证明事实正确。
例如版本更新后无答案比例突然上升,关联索引与提示词版本,定位变化,而非只重启服务。