"指标不退化"要写进发布门禁
如果评测只在"有空的时候跑" ✗,那么质量退化就会随每次发布缓慢累积 ✔ ——
单次都"看起来没问题",半年后整体明显变差 ✔(这是最典型的慢性退化 ✔)。
**做法**:把关键指标写进发布门禁 ✔ —— 不达标就不许合并/发布 ✔。
一、哪些指标该进"硬门禁"
| 指标 | 门禁形式 | 理由 |
|---|---|---|
| 格式合规率 | **不得低于**上版 ▼ | 格式错会直接打崩下游 ✔ |
| 该拒答却作答率 | **不得上升** ▲ | 编造是最危险的失败 ✔ |
| 崩溃/超时率 | 不得上升 ▲ | 可用性底线 ✔ |
| 单位成本 | ≤ 预算 × 1.2 ▲ | 防未察觉的翻倍 ✔ |
| P95 延迟 | ≤ 上版 × 1.2 ▲ | 体感底线 ✔ |
**注意方向** ✗:有的指标"越低越好"(编造率 ✔),有的"越高越好"(合规率 ✔)——
方向写错,门禁会变成反向激励 ✗。
二、哪些指标只做"提醒"
硬门禁会导致**频繁假红** ✗(假红多了,团队就会开始绕过门禁 ✔);
**原则**:**硬门禁只放"后果明确且可稳定测量"的指标** ✔。
三、门禁的三个工程细节
1. **与"上版"比而不是与"历史最优"比** ✔(否则一旦有高峰值,之后永远过不了 ✔);
2. **冒烟集要小**(几十条、1 分钟内 ✔)—— 否则没人愿意等 ✗(见评测接进 CI ✔);
3. **假红要有人处理** ✔(每周复盘假红,调整阈值或样本 ✔ —— 否则门禁会失信 ✔)。
四、门禁之外的"人工门"
有些退化机器测不出 ✔(语气变生硬、答案变啰嗦 ✔)→ 保留**人工抽检**:
每次发布抽 10 条看 ✔,并在变更说明里附结论 ✔。
五、落地顺序
1. 先上"格式合规率 + 崩溃率"两条硬门禁 ✔(最容易量化 ✔,收益立竿见影 ✔);
2. 再加"该拒答却作答率" ✔(安全类 ✔);
3. 然后加成本与延迟 ✔;
4. 最后才考虑把主指标纳入(并允许小幅波动 ✔)。
一条判据
> 一次改动导致**格式合规率下降 5 个点** ✔,它能不能**被自动拦下** ✔?
> 不能,说明门禁还没覆盖到真正重要的地方 ✗。