给文档库打质量分:五个维度与三档动作

人工智能 · 2026-10-07

RAG 的上限由资料质量决定。本文给出五个可自动计算的维度(最关键是「能否被真实问法命中」)、简单打分法、分数对应的三档动作(低分不修就移出检索范围)与三个反模式。


文档库也需要"质量分"

RAG 的效果上限由**资料质量**决定 ✔。但多数团队只优化模型与提示词 ✗,

从不看"文档本身好不好用" ✔ —— 于是永远在修下游 ✔。

**给文档打质量分** ✔,就能把优化力气花在真正薄弱的资料上 ✔。

一、五个可自动计算的维度

```

① 完整性:是否包含常见问题所需的关键信息(用查询日志对照,见检索日志那篇)

② 结构:标题层级是否清晰、是否有分节(层级乱的文档切分后很碎)

③ 时效:最后更新时间、是否已被新版替代(见版本那篇)

④ 可检索性:能否被常见问法命中(用真实 query 抽样测)

⑤ 规范:术语是否统一、是否含大量图片/表格而缺文字说明

```

**第 ④ 项最有价值** ✗→✔:把真实查询拿来测"这份文档能不能被搜到" ✔ ——

这是**直接**的效果指标 ✔,而不是间接的结构指标 ✔。

二、怎么打分(别搞复杂)

  • 每项 **0~2 分**(差/一般/好 ✔)× 权重 ✔ → 总分 10 分 ✔;
  • **只分三档**(好 / 一般 / 待改 ✔)—— 分太细没人看 ✗;
  • **按月更新** ✔(文档在变 ✔)。
  • **示例** ✔:

    ```

    《退款政策 v3》 8/10 好 (建议:补一段时效说明)

    《产品手册 2022》 3/10 待改 (时效 0 分,已被新版替代)

    ```

    三、分数要变成行动

    | 分数 | 动作 |

    |---|---|

    | 好(≥7) | 保持,纳入"可信来源"白名单 ✔ |

    | 一般(4~6) | 排期待改(补结构/补说明 ✔) |

    | 待改(≤3) | 优先:要么修,要么**从检索范围里移出** ✔ |

    **关键**:**低分文档不修就该移出** ✗→✔ ——

    留着它只会让检索命中坏资料 ✔(比"没有资料"更糟 ✔)。

    四、三个反模式

  • **只看文档数量** ✗(1000 份烂文档不如 100 份好文档 ✔);
  • **分数只算不用** ✗(没有对应动作 ✔);
  • **让模型给文档打分** ✗(不可复现、不可解释 ✔)→ 用可计算的规则 ✔。
  • 一条判据

    > 你能否说出**当前最该修的 3 份文档** ✔ 以及它们各自的问题 ✔?

    > 说不出,说明文档库还没有质量视角 ✗。

    想要你的品牌在AI回答里被推荐?

    免费诊断 →