标注质量决定模型学到什么。先让标注人员对同一份规则理解一致,再追求样本数量,可以减少后续反复返工。

制定标签定义

为每个标签写判断条件、反例和无法确定时的处理方式。相近类别用边界样本讨论,不能只提供标签名称。

开展交叉复核

让不同人员重复标注一部分样本,检查分歧集中在哪些类别。争议由业务专家裁决,并把结果补进规则。

控制版本污染

记录规则、数据来源和标注版本,清理重复及个人信息。规则变更后检查旧样本是否需要重新标注,避免新旧标准混用。

标注分歧怎样处理

先让标注人员独立处理同一批样本,整理争议类别,再统一规则和边界例子。

保留规则版本与复审记录;仅统计标注数量,会掩盖重复错误和少数高风险类别的漏标。

例如两名标注员对“需人工处理”判断不同,应先补充规则例子,再复审同类样本。

相关阅读:大模型微调与RAG:数据、成本和方案取舍。