AI 功能的季度体检：八项检查与一份短文档

AI 系统会缓慢退化，周指标看不出来。本文给出八项季度检查（质量/成本/延迟/评测集/文档/依赖/护栏/合规）、三个必看变化、体检产出的四项与两个反模式。

每季度做一次"AI 功能体检"

AI 系统会**缓慢退化** ✗：文档过时、模型行为漂移、成本上涨、依赖变更 ✔ ——

单看每周指标看不出来 ✔，需要一个季度级的整体复查 ✔。

**体检的目的不是找锅** ✗，而是发现"已经悄悄变差的地方" ✔。

```

① 质量：主指标与失败类型分布 vs 上一季度（是否有缓慢恶化 ✔）

② 成本：单位成本趋势、Top 花费功能/租户、重试占比 ✔

③ 延迟：P50/P95 首字与总时长趋势 ✔

④ 评测集：是否需要补充新样本、淘汰过时样本（见评测组织能力 ✔）

⑤ 文档与术语：是否与现状一致（含术语表与黑名单 ✔）

⑥ 依赖：外部依赖版本、配额、计费口径是否有变（见外部依赖 ✔）

⑦ 护栏：限流/配额/降级/熔断是否仍然有效（做过演练吗 ✔ —— 见断上游演习 ✔）

⑧ 合规与权限：越权用例是否仍全拒、删除流程是否仍可验证 ✔

```

**每项必须有证据** ✔（数字或演练记录 ✔），不能只写"正常" ✗。

**失败类型分布的变化**（比总量更重要 ✔ —— 见失败分类 ✔）；

**单位成本的季度变化**（超过 +20% 要归因 ✔）；

**有没有新的失败模式**（旧测试没覆盖到的 ✔ → 补样本 ✔）。

```

① 结论：正常 / 有退化（列出退化项 ✔）

② 证据：每项一张小表或一条查询 ✔

③ 待办：每项退化给一个动作 + 负责人 + 验证方式 ✔

④ 不在本季度处理的：如实列出并给理由 ✔

```

**要点**：待办要进正常排期 ✔（否则体检就变成了"看过就算" ✗）。

**体检变成汇报** ✗（一堆"正常"，没有证据 ✔）；

**发现问题不排期** ✗（下次体检还是同样的问题 ✔）。

> 季度体检里，能否至少指出**一处正在缓慢变差的地方** ✔（或明确说"没有"并给证据 ✔）？

> 只能写出"一切正常"且没有证据，说明体检是走过场 ✗。