小样本下的效果判断：什么时候该说「看不出来」

小样本上 70%→75% 多半只是噪声。本文给出样本量的量级估算、三条实用判据（净胜数/区间/失败类型）、何时该说看不出、小样本仍能做的判断，以及避免自欺的团队规矩。

"看起来变好了"是最常见的错误结论

改动后跑 20 条样本，正确率从 70% 涨到 75% —— 这**很可能只是噪声** ✗。

生成类任务方差大，小样本上的差异常常不显著 ✔。**如实说"看不出来"** 是专业能力 ✔，

而把噪声当成果 ✗ 会导致错误决策（把没用的改动推广、把有用的改动回滚）✗。

粗略办法（比例类指标）：

若基线正确率约 0.7，想在 95% 置信下分辨 **5 个百分点**的差异 → 每版需要**几百条**样本 ✔；

想分辨 **10 个百分点** → 每版 **~80 条**左右就够 ✔；

想分辨 **2 个百分点** → 需要上千条 ✔。

（实际还要看指标类型与配对方式；但**量级**必须先有概念 ✗。）

**配对样本**（同一批输入跑两版）比两批独立样本**效率高得多** ✔ —— 优先用配对 ✔。

1. **看"净胜数"而不是两个百分比**：逐条比较"更好/一样/更差" ✔；

2. **给区间，不给单点**：报告写"净胜 6 条，95% 区间 −2 ~ +14" ✔（区间跨过 0 → 看不出差异 ✔）；

3. **失败类型变化优先于总分** ✔：总分没变但"编造"变多 → 是恶化 ✔。

样本量远低于所需（例如只跑了 30 条想分辨 3 个百分点 ✗）；

配对结果的净胜数在置信区间内跨 0 ✔；

差异集中在少数样本（去掉 2 条极端样本结论就翻转 ✗）→ **稳健性检验**不过 ✔。

**如实写"未观察到显著差异"，并说明需要多少样本才能判断** ✔ —— 这比强行给结论有用得多 ✔。

**崩溃级问题**：格式错、超时、拒答 —— 这类只要出现 1~2 例就值得处理 ✔（不需要大样本 ✔）；

**单调性检查**：改动方向是否符合预期（例如"加上限后输出更短"✔）—— 方向类结论对小样本更敏感 ✔；

**失败类型新增**：出现以前没有的坏模式 ✔ → 直接拦下 ✗。

1. 评测报告**必须写样本量与区间** ✔；

2. **禁止**用"明显更好"这类词（除非差异远超噪声 ✔）；

3. 结论区分**方向性**（可信）与**幅度**（需大样本）✔；

4. 需要大样本时，先做成流水线跑（见评测接进 CI ✔），别靠手工试 ✗。

> 如果你无法说出"这个差异要多少样本才能确认"，就还不能下结论 ✗。

> 说"看不出来"不是失败，是把不确定性如实交出去 ✔。