一条条看日志,看不出系统性问题
用户问题成百上千 ✔,逐条处理永远处理不完 ✗。
**把重复问题聚类** ✔,就能从"处理个案"变成"修一类问题" ✔(收益高一个数量级 ✔)。
一、怎么聚类(三种粒度)
1. **按关键词/模板**(最便宜 ✔):把问题归一化后按高频短语分组 ✔
(例如"为什么提示额度不足"出现 200 次 ✔);
2. **按语义相似**(中等 ✔):用嵌入把问题聚类 ✔,适合问法多样但本质相同的情况 ✔;
3. **按失败类型**(最可靠 ✔):先按失败类型分类 ✔(见失败分类那篇 ✔),再在类内聚类 ✔。
**建议顺序**:先做 3(类型)+ 1(关键词)✔ —— 成本低、可解释 ✔;语义聚类留到后面 ✔。
二、聚类结果要能"变成行动"
每个簇要给出五项 ✔:
```
① 代表样本(3 条原文 ✔)
② 规模(多少条、占比、环比 ✔)
③ 影响(涉及多少用户/多少成本 ✔)
④ 归因(检索?提示词?界面引导?✔)
⑤ 建议动作与验证方式 ✔
```
**只给"Top 10 问题"是不够的** ✗ —— 必须带归因与动作 ✔。
三、三个高频"系统性根因"
**注意**:这三类都**不是模型问题** ✔ —— 不聚类就永远在调模型 ✗。
四、怎么持续做(一周一次,半小时)
1. 导出上周的负反馈与转人工记录(脱敏 ✔);
2. 人工看 30~50 条,标类型 ✔;
3. 聚类,取 Top 3 簇 ✔;
4. 每簇写一个待办(谁、什么时候、怎么验证 ✔);
5. 下周复查:**该簇规模是否下降** ✔。
五、两个反模式
一条判据
> 上周的 Top 1 问题簇 ✔,这周规模下降了吗 ✔?
> 没有下降,说明聚类只是"报告",没有变成"修复" ✗。