拒答与澄清也是"正确的输出"
评测里最常见的偏差是:**只统计"答对率"** ✗,把"该拒答却答了"和"该澄清却硬答"都算成错误的一部分 ✗,
于是团队会朝"少拒答"优化 ✗ —— 这会把系统推向更爱编 ✗。
正确的做法是把输出分成四类,分别统计 ✔:
1. **正确作答**(有依据、内容对);
2. **正确拒答**(资料不足,明确说"没有找到");
3. **正确澄清**(问题模糊,先问关键限定);
4. **错误作答 / 错误拒答 / 该澄清却硬答**。
**关键指标**是两个"误导率" ✔:
怎么构造这两类样本
每类 20~30 条就能看出趋势 ✔。
常见的两个失败模式
评测必须**检查拒答之后有没有继续断言** ✔。
判据要写进评测标准
```
正确拒答 = 明确说明资料不足 + 不给出未支持的结论 + 给出可行的下一步(可选)
正确澄清 = 提出 1~2 个关键限定问题,且不预设答案
```
**没有把"拒答/澄清"单列出来的评测集,会系统性高估系统能力** ✗。
与产品侧的对齐
落地顺序
1. 先给现有评测集**补标注**(每条标"应为哪一类");
2. 加两个误导率指标;
3. 把"拒答类/澄清类"样本加进流水线(见评测接进 CI 那篇 ✔)。