把提示词改动接进流水线：四道关与各自判据

提示词改动最容易悄悄上线。本文给出四道关（本地试跑、离线对照、影子灰度、上线留痕）与各自可抄的通过判据、两个常见反模式，以及一条「能否 5 分钟内归因」的判据。

提示词改动最容易"悄悄上线"

多数团队的提示词改动流程是：本地试几条 → 改了线上配置 → 看用户反馈 ✗。

中间**没有对照、没有回归、没有留痕** ✔ —— 出问题时也说不清"到底哪次改动导致的" ✗。

给提示词改动设**四道关**，就能把这件事变可控 ✔。

用 5~10 条**边界样本**快速试（空输入、超长、含噪声 ✔）；

目的是"排除明显错误"✔，**不是**判断效果 ✔（见小样本那篇 ✔）；

边界样本进版本库 ✔（下次还能用 ✔）。

同一批评测样本（100~300 条 ✔），**只改被测的那一处** ✔；

逐条成对比较，输出**净胜数 + 区间** ✔；

看**失败类型**变化（新增了哪类错 ✔）；

判据事先写死（例如"净胜 ≥ 0 且无新增严重失败" ✔）。

这一关是**唯一能说"效果变好"的关** ✔ —— 其它关都不算证据 ✔。

影子双跑（限时、限比例 ✔）比格式合规率、长度、成本、延迟 ✔；

再小流量灰度 ✔，盯四组指标（见灰度那篇 ✔）；

**两版并存**：旧版随时能切回 ✔。

提示词**版本号进请求日志** ✔（见可复现那篇 ✔）；

变更说明写清：**动机、做法、证据、回滚方式** ✔；

更新评测集（把这次发现的坏样本补进去 ✔）。

```

第一关：无崩溃/格式错；边界样本通过

第二关：净胜数 ≥ 0 且区间不跨负；无新增严重失败类型

第三关：格式合规率不降；单位成本 ≤ 预算 × 1.2；P95 ≤ 旧版 × 1.2

第四关：版本号进日志；变更说明齐备；评测集已更新

```

**跳过第二关** ✗（只凭几条样本就上线 ✔）—— 这是最常见的 ✗；

**一次改多处** ✗（无法归因，出问题不知道回滚哪一处 ✔）。

> 出问题时，能否在 5 分钟内回答"**这是哪次提示词改动导致的**" ✔？

> 不能，说明四道关没有真正跑起来 ✗。