检索质量差，先别怪模型：文档解析与切分的五个检查点

检索效果差常源于文档形态错误：表格丢失、标题压平、半句切分。本文给出五个检查点（解析忠实度、切分语义、块大小分布、元数据、可引用性）与最小验收流程。

先别急着换模型

检索效果差，很多时候问题不在向量模型，而在**文档本身进了错误的形态**：PDF 解析丢了表格、标题层级被压平、一段话被切成半句。

这些错误一旦进入索引，后面用什么模型都救不回来。先做下面五个检查点。

表格是否还在（很多解析器把表格压成一行文本，行列关系全丢）；

标题层级是否保留（用于后续按结构切分）；

页码/页眉/页脚是否被误当正文（噪声会污染检索）；

公式、代码块是否保留原始形态。

**做法**：抽 20 页人工比对解析结果与原文，统计"信息丢失/错位"的比例。这个数字比任何模型指标都先要过关。

不要按固定字数硬切；优先按**标题、段落、列表**切；

长段落再按句子切，并保留**上下文重叠**（一般 10%~20%）；

表格与代码块尽量**整块**保留，不要横切；

每块带上"来源路径"（文档标题 → 章 → 节），便于引用与回溯。

统计每块的字数分布：如果出现大量 20 字以下的小块（碎片）或上万字的巨块，检索都会变差。

经验区间：**200~800 字**为主，碎片合并、巨块再切。

检索常常需要先筛后搜："只看 2024 年之后的、只看 A 产品的"。

块上要带可筛选字段（时间、来源、分类、版本），否则只能靠相似度硬碰。

命中块要能回到**原文位置**（章节锚点或页码）；

块内不要有多余的解析残留（页眉重复、断行错乱）；

引用时展示原文片段，而不是模型改写。

1. 抽 20 页比对解析忠实度；

2. 抽查 30 个块的切分质量（是否半句、是否丢标题）；

3. 画块长度分布图；

4. 用 20 个真实问题测召回，**先看命中块对不对**，再谈答案好不好；

5. 记录每一次解析器/切分规则的变更与对应指标。