标注质量决定上限
模型再好，标注错了也白搭。标注环节最常见的三个问题：**标准含糊、单人判断、没有质检**。
这一篇给一套能落地的小团队流程。
一、先写判定标准，再动手
明确"对 / 部分对 / 错"分别是什么，并**各配一个例子**；
边界情况单独列（"答对了但没引用来源"算不算对？）；
标准要能**被别人独立执行** —— 如果两个人读同一段话会得出不同结论，就是标准没写清。
二、双人标注与一致性
抽 **10%~20%** 双人标注，统计一致率；
不一致的地方**不是"谁错了"，而是标准缺定义** → 先改标准，再继续标；
一致率低（例如 <80%）说明任务本身需要拆分或换判定方式（例如改成"成对比较"）。
三、把"依据"记下来
只记对错，出问题无法定位。建议每条至少记：
判定结论 + 一句话依据（例如"漏了条款 3.2"）；
难度/置信度（便于后续分层分析）；
标注人（不是为了追责，而是为了发现"某人的标准理解不同"）。
四、质检与防漂移
每周抽 **5%~10%** 复核（复核人也标，比较一致率）；
关注**标注漂移**：同一个人几周后对同类样本的判断是否变化；
用**金标准样本**（公认答案）定期测标注人，防止标准被慢慢拉偏。
五、交给谁标
领域任务尽量给**懂业务**的人（模型评测里的"正确"常常是业务判断）；
生成类任务优先用**成对比较**（A/B 哪个更好）而不是绝对打分 —— 前者一致率通常高得多；
标注量大时，先做**小批试标 + 校准**，再放量（避免整批返工）。
一个最小可用流程
1. 写标准 + 各配一例（半天）；
2. 试标 30 条，双人重叠 10 条，算一致率，改标准；
3. 全量标注，记录结论 + 依据 + 置信度；
4. 每周抽检 5%，维护金标准样本；
5. 把最终样本冻结成**评测集版本**（含标准原文），供回归使用。