把人工审核做进 AI 流程：审核队列怎么设计

审核队列不是待办列表。本文给出三条队列（高危/抽检/异常）与各自时效、审核界面该给的六样东西（含一键修改）、审核结果如何回灌成评测数据，以及三个反模式。

审核队列不是"待办列表"

AI 流程里插入人工审核（human-in-the-loop ✔）时，最容易做错的把它当成一个普通待办列表 ✗：

谁有空谁看 ✔、没有优先级 ✔、看不到上下文 ✔ —— 结果审核变成瓶颈 ✗，而且质量参差 ✔。

**审核队列要按"风险 × 时效"设计** ✔。

| 队列 | 内容 | 目标时效 |

|---|---|---|

| **高风险管理**（写操作、对外发送、金额 ✔） | 逐条审 ✔ | 分钟级 |

| **抽检队列**（按比例的自动结果 ✔） | 抽样审 ✔ | 小时/天级 |

| **异常队列**（校验失败、模型自认不确定 ✔） | 逐条审 ✔ | 依业务（可排队） |

**要点**：高危的**不能被抽检队列堵住** ✗ —— 混在一起时，高危项会被大量低危项淹没 ✔。

```

① 原始输入（原文，不要只给摘要 ✔）

② AI 的产出与依据（含引用/证据表 ✔）

③ AI 的不确定性标注（见不确定性传递那篇 ✔）

④ 相关上下文（历史、业务规则 ✔）

⑤ 一键动作（通过 / 修改 / 拒绝 / 退回重跑 ✔）

⑥ 快捷键（审核量大时，键盘操作快数倍 ✔）

```

**第 ⑤ 项的"修改"很重要** ✗：很多系统只给"通过/拒绝" ✔，

审核员想改一个字就得拒绝重做 ✔ —— 效率极低 ✔。

**通过/拒绝/修改都要记录** ✔（这是最有价值的评测数据 ✔ —— 见反馈回填那篇 ✔）；

**修改后的版本**要能与原版对比 ✔（差异模式：AI 版 vs 人工版 ✔）——

差异集中的地方就是提示词该改的地方 ✔；

**定期统计**：哪类输入修改率最高 ✔（= 系统最该优化的地方 ✔）。

**把所有结果都送审** ✗（审核员被淹没，最后敷衍通过 ✔）；

**审核没有时效要求** ✗（用户等不到就走了 ✔）；

**审核只是"点通过"** ✗（不记录修改内容，等于浪费了最宝贵的数据 ✔）。

> 审核员处理一条**高危项**的平均时间 ✔，是否明显**短于**处理一条低危项 ✔？

> 如果不是，说明队列没有分级 ✗（高危项被低危项挤在后面 ✔）。