用线上反馈改进系统：回填成评测与标注资产

线上反馈是最便宜的高质量数据，但默认是散的。本文给出可回填的三类资产、五步回填流程（采样/确认/脱敏/入库/闭环）、避免评测集被线上污染的分区做法与四个常见错误。

线上反馈是最便宜的高质量数据

用户点踩、改写、放弃、追问 —— 这些行为**自带真实分布** ✔，比任何合成数据都值钱 ✔。

但它们默认是**散的** ✗，需要"回填"成可用资产 ✔：评测样本、检索标注、提示词改进依据 ✔。

| 资产 | 来源 | 用途 |

|---|---|---|

| 评测样本 | 负反馈 + 人工确认 | 回归（见评测集那篇 ✔） |

| 检索标注 | "答案不对"里筛出"片段没给对"的 | 检索指标与切分改进（见检索回归那篇 ✔） |

| 提示词/规则依据 | 失败类型归因 | 改提示词、加校验（见提示词版本那篇 ✔） |

**关键纪律**：回填必须**人工确认** ✔ —— 用户点踩不等于"答案错" ✗（可能是需求变了 ✗）。

1. **采样**：每周按比例抽负反馈（例如 20%，上限 50 条 ✔），避免只看极端 ✔；

2. **确认**：人工判"是否真的错、错在哪一类" ✔（用有限的失败类型表 ✔）；

3. **脱敏**：去掉个人信息 ✔（见数据脱敏那篇 ✔）—— **回填进评测集也要合规** ✔；

4. **入库**：加进评测集（带来源与时间 ✔），并标 `from_production: true` ✔；

5. **闭环**：修复后跑评测集，确认该样本已通过 ✔（这条样本就成了"防复发"资产 ✔）。

线上样本多了会带来一个隐患 ✗：如果**反复用同一批线上样本调参** ✔，

评测集就变成了训练集 ✗（过拟合 ✔）。做法：

评测集**分区**：`核心集`（冻结、不许调参时看 ✔）+ `线上集`（定期更新、用于发现新问题 ✔）；

报告里**分开呈现**两组指标 ✔（差异大说明核心集不代表性 ✔）；

每季度从线上集**晋升**部分样本到核心集（替换等量的旧样本 ✔），保持代表性 ✔。

**不脱敏就回填** ✗（合规风险 ✔）；

**只回填"错得离谱"的** ✗ → 评测集偏向极端，测不出普通退化 ✔；

**回填后没人跑** ✗（见评测接进 CI 那篇 ✔）；

**用回填样本宣称"效果提升"** ✗ —— 训练/调参用过的样本不能再当评测证据 ✔。

> 每个月能否从线上反馈里**稳定产出 20~50 条可用评测样本** ✔？

> 不能，说明反馈还停在"日志"阶段 ✔，没有回填成资产 ✗。