评测集怎么建才可信：抽样、标注与回归三道关

评测集的质量决定优化方向。本文讲清三道关：抽样要覆盖真实分布、标注要定义清楚、回归要固定不变；并给出小团队也能落地的规模与流程建议。

为什么很多团队的评测集没用

常见做法是「随便找几十条试试」。问题在于：

抽的样本不覆盖真实分布 → 优化只对样本有效；

判定标准含糊 → 两个人标出不同答案，回归时无法比较；

评测集被反复使用后又拿去调参 → **过拟合评测集**，线上依旧差。

1. **从真实请求里抽**，不要从自己想象的问题里抽；

2. 按**分层**抽样：把请求按类型（问答/抽取/生成）、长度、语种分层，各层都取一些；

3. 保留**困难样本**：历史上出过错、用户投诉过的，必须进评测集；

4. 留一份**不公开的留出集**：只用它做最终判定，平时不拿来调参。

规模建议：小团队 **100~300 条**，按类型分层即可跑起来；先建立「能重复跑」的流程，比一次做 5000 条更有价值。

**先写判定标准，再标注**：什么算对、什么算部分对、什么算错；边界情况举例；

**双人标 10%**：算一致性；不一致的地方就是标准没写清，先改标准；

**标注要记「依据」**：不只记对错，还记「为什么」（例如「漏了条款 3.2」）；否则无法定位问题类型；

生成类任务难判对错时，用**成对比较**（A/B 哪个更好）比打绝对分更稳。

评测集**冻结**：版本化管理，修改必须留痕；

每次改动跑**同一套**指标：正确率、失败类型分布、平均成本与时延；

关注**失败类型的变化**，而不只是总分：总分不变但「编造事实」变多，是质量在恶化；

定期**补充新样本**（线上新出现的问法），但要与旧集分开统计，避免指标不可比。

1. 从日志抽 150 条，按 5 类分层，写好判定标准；

2. 双人标注其中 15 条，不一致处改标准；

3. 全量标注，得到基线分数与失败类型分布；

4. 之后每次优化：跑同一集 → 比较分数与失败类型 → 记录改了什么；

5. 每月补充 20 条新样本到「增量集」，观察是否退化。

做到这五步，你就有了**可重复、可比较**的尺子——这比任何单次调参都更能提升最终质量。