业务提示词需要像配置一样管理。把它散落在员工聊天记录里,会导致同一业务使用不同规则,出问题时也难以找到当时版本。提示词管理的对象包括任务说明、数据字段、示例、输出格式和失败处理。

区分规则与用户资料

将固定任务规则与动态变量分开,变量使用明确字段,例如产品名称、客户问题和允许引用的来源。缺字段时返回待补资料,不能让模型自行补造价格或规格。用户输入和检索文档是待处理的数据,不应成为更高优先级的规则。

角色名称不能替代信息

使用销售、审核等角色可以帮助描述任务,但不能赋予模型真实资质。为每个角色明确可用资料、允许操作和输出接受条件;多角色复核仍可能共同犯错,关键结果需要业务校验。

修改有版本与回退

保存修改原因、适用流程和负责人,发布前用固定样例加新失败样例测试。模型或检索规则改变时同时测试提示词;记录版本号而非在生产日志中无限保存含隐私的完整输入。

维护企业自己的示例集

保留经过人工确认的好输出与典型错误,分别测试长输入、资料冲突和无法回答的情况。通过率提高但成本或延迟上升时一并评估,不能只凭几个新样例替换生产配置。

参考资料

OWASP提示词注入防护

提示词变更怎样可回退

每个版本保留变量说明、输出约束与测试结果,发布时关联模型和知识库版本。

更新后对历史失败问题回测;同一句提示词在不同模型上也可能表现不同,不能直接复制验收结论。

例如更新提示词增加简短回答要求,仍要回测需要条件说明的问题,避免精简后省略关键限制。