多模型路由：把成本花在刀刃上

多模型路由让不同难度的请求走不同档位。本文给出三个可度量判据、三种实现（规则/分类器/级联）与各自代价、兜底与抽检要求，以及该观测的指标与落地顺序。

为什么需要路由

用最强模型处理所有请求最省心，也最贵；全用小模型最便宜，但复杂任务会答不好。

**路由**就是在请求进入时判断"这个请求需要多强的模型"，把成本花在刀刃上。

1. **输入特征**：长度、是否含代码/表格、语言、是否多轮；

2. **任务类型**：分类/抽取/格式化 → 小模型；多步推理/长文分析 → 大模型；

3. **历史信号**：同一用户/同一类问题的失败率、重试率。

不要用"感觉这个请求很难"当判据 —— 路由规则必须是**代码可判定**的。

| 方式 | 说明 | 代价 |

|---|---|---|

| 规则路由 | 按长度/类型/关键词分流 | 便宜、可解释；覆盖不全 |

| 分类器路由 | 训练一个小分类器判断难度 | 需要标注数据；可能误判 |

| 级联（先小后大） | 先小模型，置信度低再升级 | 简单可靠；平均延迟升高 |

**级联最稳**：小模型先答，用"是否满足校验/是否提到不确定"作为升级信号。

代价是简单请求也要等一次小模型 —— 通常可接受。

**兜底**：路由判错时不能让用户吃亏 —— 校验失败就升级到强模型；

**抽检**：小模型结果按比例（例如 2%）用强模型或人工复核，量化"路由质量"；

**不许静默**：路由到弱模型时，要么对用户透明，要么保证结果达标。

各档模型的**分流占比**与成本占比；

**升级率**（级联里小模型失败的比例）—— 升高说明路由或小模型退化；

按档位的**质量指标**（不要只看总体）；

P95 延迟（级联会抬高，要单独看简单请求的延迟）。

1. 先统计各任务的成本与质量，找出"最贵但不是最难"的那部分；

2. 只对这部分做规则路由（覆盖面小、风险低）；

3. 加校验与升级兜底；

4. 再引入抽检与看板；

5. 稳定后再考虑分类器路由（不要一开始就上）。