把检索质量接到业务指标：从答案质量到业务结果

检索质量是中间指标，业务结果才是最终指标。本文给出四层指标链（检索/答案/使用/业务）、把层间假设写下来的做法、验证方法与两个常见误判。

检索做得好，业务就一定会好吗

不一定 ✔。检索质量是**中间指标** ✔，业务结果是**最终指标** ✔，两者之间隔着一层：

用户是否采纳、是否因此少打了一个电话、是否更快解决问题 ✔。

**把中间指标接到业务指标** ✔，才能回答"这套投入值不值" ✔。

```

① 检索层：召回率、命中位次、片段质量 ✔

② 答案层：正确率、引用一致率、该拒答却作答率 ✔

③ 使用层：采纳率、修改率、追问率、转人工率 ✔

④ 业务层：处理时长、一次解决率、成本/单、满意度 ✔

```

**每层都要有指标** ✗→✔：只测第 ① 层，无法判断投入价值 ✔；

只测第 ④ 层，出了问题无法归因 ✔。

例如 ✔：

```

假设：召回率提升 10 个点 → 答案正确率提升 5 个点

→ 采纳率提升 3 个点 → 平均处理时长下降 8%

```

**写下来才能验证** ✔（见对照实验那篇 ✔）；不写下来，就只能在汇报时"感觉有提升" ✗。

**逐层看变化**（召回涨了但答案没涨 → 说明瓶颈不在检索 ✔）；

**做小规模对照**（A/B 或前后对比，含区间 ✔）；

**看"采纳率"这类使用层指标**（它比满意度更客观 ✔）；

**业务层要有基线**（改之前先量一遍 ✔ —— 否则无法比较 ✔）。

**过度优化中间指标** ✗（召回从 85% 提到 92%，但用户感知没变 ✔）→ 该停下来 ✔；

**只看业务指标** ✗（业务波动受很多因素影响，无法归因到检索 ✔）。

**平衡点**：**中间指标做日常优化向导** ✔，**业务指标做季度价值判断** ✔。

```

① 先把"采纳率"量出来（用户是否用了 AI 给的结果 ✔）—— 最容易也最有说服力

② 再把"处理时长"或"一次解决率"量出来（业务基线 ✔）

③ 然后才有资格说"检索优化带来的价值" ✔

```

> 你能否说出"召回率提升 X 个点，对应业务指标变化 Y" ✔？

> 说不出，说明指标链还没打通 ✗（投入价值无法证明 ✔）。