评测里最容易被忽略的一类:拒答与澄清

人工智能 · 2026-10-07

拒答与澄清也是正确输出。本文给出四类输出与两个误导率(该拒答却作答、该作答却拒答)、样本构造方法、两种失败模式、判据写法与落地顺序。


拒答与澄清也是"正确的输出"

评测里最常见的偏差是:**只统计"答对率"** ✗,把"该拒答却答了"和"该澄清却硬答"都算成错误的一部分 ✗,

于是团队会朝"少拒答"优化 ✗ —— 这会把系统推向更爱编 ✗。

正确的做法是把输出分成四类,分别统计 ✔:

1. **正确作答**(有依据、内容对);

2. **正确拒答**(资料不足,明确说"没有找到");

3. **正确澄清**(问题模糊,先问关键限定);

4. **错误作答 / 错误拒答 / 该澄清却硬答**。

**关键指标**是两个"误导率" ✔:

  • **该拒答却作答率**(资料不足却给了像样的答案 —— 最危险 ❗);
  • **该作答却拒答率**(明明有资料却说不知道 —— 用户会觉得没用 ❗)。
  • 怎么构造这两类样本

  • **该拒答类**:问题涉及资料里**确实没有**的内容(不要问"无关话题",要问"相关但未覆盖" ✔);
  • **该澄清类**:问题缺少关键限定(时间、范围、对象),看它是否询问而不是假设 ✗;
  • **该作答类**:资料里明确有答案(用来测**过度拒答** ✗)。
  • 每类 20~30 条就能看出趋势 ✔。

    常见的两个失败模式

  • **过度拒答**:保守的提示词 + 高阈值检索 → 什么都说"未找到" ✗ → 用户流失 ✔;
  • **伪装拒答**:说"根据资料无法确定",但紧接着给了一段编造内容 ✗ → 这是最坏的一类 ✗,
  • 评测必须**检查拒答之后有没有继续断言** ✔。

    判据要写进评测标准

    ```

    正确拒答 = 明确说明资料不足 + 不给出未支持的结论 + 给出可行的下一步(可选)

    正确澄清 = 提出 1~2 个关键限定问题,且不预设答案

    ```

    **没有把"拒答/澄清"单列出来的评测集,会系统性高估系统能力** ✗。

    与产品侧的对齐

  • 界面要把"未找到"做成**正常状态**(不是错误 ✗),并给出替代路径(换关键词、放宽范围);
  • 但也不能鼓励一问就拒答 ✗ → 用**过度拒答率**做护栏 ✔;
  • 两个指标一起看,才能把系统调到"该说的敢说、不该说的不编" ✔。
  • 落地顺序

    1. 先给现有评测集**补标注**(每条标"应为哪一类");

    2. 加两个误导率指标;

    3. 把"拒答类/澄清类"样本加进流水线(见评测接进 CI 那篇 ✔)。

    想要你的品牌在AI回答里被推荐?

    免费诊断 →