把评测接进日常:四种改动各自的检查清单

人工智能 · 2026-10-07

忙碌时最先省掉的就是评测。本文给出四类改动(提示词/换模型/改检索/改默认值)各自的检查清单、让清单真正被执行的四个做法与三个反模式。


把检查清单贴在流程上,而不是记在脑子里

团队都知道"改动要跑评测" ✔,但忙碌时最容易省的就是这一步 ✗。

**把检查清单写进流程** ✔(PR 模板、发布单、自动化门禁 ✔),执行率才会高 ✔。

一、按改动类型给清单(四种)

**A. 改提示词**

```

□ 只改了一处(能用一句话说清 ✔)

□ 离线对照:净胜数 + 区间(见对照实验那篇 ✔)

□ 失败类型无新增严重类别 ✔

□ 版本号已更新,并进日志 ✔

□ 变更说明(动机/证据/回滚 ✔)

```

**B. 换模型**

```

□ 冻结评测集与基线 ✔

□ 格式合规率不降;该拒答却作答率不升 ✔

□ 单位成本与 P95 延迟在预算内 ✔

□ 影子/灰度跑过(限时限比例 ✔)

□ 保留旧路径,可一键回滚 ✔

```

**C. 改检索(切分/索引/排序)**

```

□ 跑黄金集:召回@K、命中位次、无结果正确率(见检索回归 ✔)

□ 权限过滤仍然生效(越权检索数 = 0 ✔)

□ 索引滞后时间与删除残留检查 ✔

□ 抽样人工看 10 条结果质量 ✔

```

**D. 改默认值/权限/额度**

```

□ 是"安全默认"(见默认值那篇 ✔)

□ 界面显示当前状态 ✔

□ 危险项有二次确认 ✔

□ 变更对外说明(用户可感知的行为变化 ✔)

```

二、清单怎么才会被执行

  • **进 PR 模板** ✔(不提就不许合并 ✔);
  • **能自动化的自动化**(评测与门禁 ✔ —— 见发布门禁那篇 ✔);
  • **人工项要留痕**(谁看的、结论是什么 ✔);
  • **定期精简**(清单太长会被忽略 ✗ —— 每季度删掉没用的项 ✔)。
  • 三、三个反模式

  • **清单停留在文档里** ✗(没人照着做 ✔);
  • **所有改动用同一张清单** ✗(过重会被跳过 ✔);
  • **清单只增不减** ✗(半年后没人看 ✔)。
  • 一条判据

    > 随机抽最近 5 次改动 ✔,能否都找到对应的**检查记录**(评测结果/人工结论 ✔)?

    > 有缺的,说明清单还没进流程 ✗。

    想要你的品牌在AI回答里被推荐?

    免费诊断 →