把评测口径写下来：指标定义与计算方式

口径不清的指标等于没有指标。本文给出每个指标要写清的五件事（重点：排除项）、常见指标的推荐口径、口径变更的留痕做法与三个反模式。

指标说不清口径，就没法比

"正确率 85%" ✔ —— 哪个正确率 ✔？谁来判 ✔？分母是什么 ✔？

**口径不清的指标，跨周不可比、跨人不可复现** ✗，等于没有指标 ✔。

**把口径写下来** ✔（一张小卡片 ✔），应成为评测脚本的注释与文档的附录 ✔。

```

① 定义（一句话，可判定 ✔）

② 分子/分母（怎么算 ✔）

③ 数据来源（哪批样本、哪个集合 ✔）

④ 判定方式（规则 / 人工 / 模型打分 ✔ —— 谁判的 ✔）

⑤ 排除项（哪些样本被剔除、为什么 ✔）

```

**第 ⑤ 项最常被省** ✗ —— 剔除规则不写清，等于可以"调指标" ✔。

| 指标 | 推荐口径 |

|---|---|

| 正确率 | 判定为"对"的条数 / 全部有效样本（排除输入无效的 ✔） |

| 格式合规率 | 通过 schema 校验的条数 / 全部调用（含失败 ✔） |

| 该拒答却作答率 | 资料不足样本中给出确定断言的条数 / 资料不足样本总数 ✔ |

| 引用一致率 | 引用与结论相关的条数 / 有引用的条数 ✔ |

| 单位成本 | 总成本 / 成功调用数（**不含失败** ✔ 还是含，要写明 ✔） |

**注意** ✗：`单位成本`的分母写"全部调用"还是"成功调用"，会让数字差很多 ✔ ——

**必须写明** ✔（我见过两个团队因此争论半天 ✔）。

改口径 = **指标不可与历史直接比** ✔ → 必须标注"口径已变" ✔；

最好做法：**新增口径而不是修改旧口径** ✔（两套并行一段时间 ✔）；

变更记录进评测脚本注释与变更说明 ✔。

**一个人一个算法** ✗（同一指标两种结果 ✔）；

**口径写在某人脑子里** ✗（他休假就没人说得清 ✔）；

**为了好看悄悄改口径** ✗（这是最坏的 ✔）。

> 让两个人**独立**按文档算同一个指标 ✔，结果一致吗 ✔？

> 不一致，说明口径还没写清 ✗。