把建评测集当大项目，两周都跑不起来。本文给出第一周的日程（第一天 50 条样本、第二天出第一个数字、到第五天扩到 150 条并加失败类型、第二周接流水线定 owner）与三个「别做」。
从零建评测集：别追求一次做全
最常见的失败是把"建评测集"当成一个大项目 ✗：先定规范、再写工具、再找标注 ✔ ——
两周一过还没跑起来 ✔，热情就没了 ✔。
**正确做法是第一周就跑起来一个"很糙但能用"的版本** ✔，然后每周迭代 ✔。
第一天：50 条样本 + 一个判定标准
从**真实日志**里挑 50 条（不要凭空想 ✗）；
每条写**期望行为**（不是"标准答案" ✔ —— 生成类任务很难有唯一答案 ✔）；
判定标准先写**三档**：好 / 可接受 / 不可接受 ✔（比"对错"更容易达成一致 ✔）。
**不要等标注规范完美** ✗ —— 先标 50 条，规范会在标注过程中自然清晰 ✔。
第二天：跑起来 + 出第一个数字
写一个最小脚本：读样本 → 调系统 → 按标准判 → 输出"可接受率" ✔；
**别做看板** ✗（先出数字 ✔）；
记录基线 ✔（后面所有对比都基于它 ✔）。
第三~五天：扩到 150 条 + 加失败类型
补充**边界样本**（空输入、超长、信息不足 ✔）；
加上**失败类型**统计 ✔（见失败分类那篇 ✔）；
把"信息不足"单独算一类 ✔（看它会不会编 ✔）。
第二周：接进流水线 + 定 owner
接进 CI，冒烟集 30 条、1 分钟内跑完 ✔（见评测接进 CI ✔）；
指定 **owner** ✔（负责样本保鲜与季度校准 ✔ —— 见评测组织能力那篇 ✔）。
三个"别做"
**别等规范完美** ✗（先跑起来 ✔）；
**别追求样本量大** ✗（150 条能跑、能对比，胜过 5000 条躺在 Excel 里 ✔）；
**别只做一次** ✗（每周补充新样本才有效 ✔）。
一条判据
> 第一周结束时，你能否拿出**一个数字**（可接受率）与**10 条失败样例** ✔？
> 不能，说明还在"准备阶段" ✗，而不是在建评测集 ✔。