输入分布漂移监控：指标没变但效果在变

输入分布在悄悄变化，导致效果变化却找不到原因。本文给出该监控的四类分布、怎么判定「变了」（基线/分位数/阈值）、发现漂移后的四步处理与三个反模式。

输入在悄悄变化

模型没变、提示词没变、代码没变 ✔ —— 但效果在变 ✗。

常见原因：**输入分布变了** ✔（用户群体扩大、上游改了格式、季节性变化 ✔）。

**监控输入分布** ✔，能在质量指标恶化之前发现问题 ✔。

1. **长度分布**（输入/输出 token 的 P50/P95 ✔ —— 变长通常意味着成本要涨 ✔）；

2. **语言与地区分布**（新语言出现 ✔ → 能力可能不足 ✔ —— 见国际化那篇 ✔）；

3. **任务类型分布**（分类/抽取/生成的比例 ✔ —— 比例变了，整体指标自然变 ✔）；

4. **异常输入比例**（超长、空输入、含代码、含表格 ✔）。

**要点**：**指标要能按维度下钻** ✗→✔（只看总量的平均值，会把分布变化掩盖掉 ✔）。

**固定基线与区间**（例如近 30 天为基线 ✔）；

**用分位数与占比对比**（P95 长度、某类任务占比 ✔）；

**设触发阈值**（例如某类输入占比变化 > 20% 提醒 ✔）；

**避免噪声误报**（周末/活动期有正常波动 ✔ → 用同环比 ✔）。

```

① 先确认不是采集/埋点问题（口径变了吗 ✔）

② 定位到具体维度（是语言？长度？任务类型？✔）

③ 判断影响（该维度的质量/成本是否更差 ✔ —— 用分段指标看 ✔）

④ 分情况处理：

能力不足 → 拒绝或降级 + 明确说明（见能力区间那篇 ✔）

成本上升 → 调整预算与上限（见预算那篇 ✔）

格式变化 → 修规范化与解析（见输入规范化那篇 ✔）

```

**只看平均** ✗（分布变化被平均掉 ✔）；

**不区分"采集变化"与"真实变化"** ✗（埋点改了会误判 ✔）；

**发现了不处理** ✗（漂移会持续累积 ✔）。

> 过去一个月，你的输入**长度 P95** 与**任务类型占比**变了多少 ✔？

> 答不出，说明输入分布没有被监控 ✗。