推理成本与「思考长度」：该在哪儿设上限

把思考长度拉满往往成本翻倍而收益有限。本文给出两类预算（token 与时限）、按任务分层的额度建议、思考被截断时的三种处置、该观测的四个指标与三条纪律。

"想得久"不等于"答得对"

推理型模型会先输出一段思考再给结论。很多团队一上线就把思考长度拉到最大 ✗，

结果：成本翻几倍、延迟翻几倍，而**正确率提升有限** ✔。所以"思考长度"要像输出长度一样**设上限与预算** ✔。

**输出（含思考）token 预算**：直接决定成本 ✔；

**时限预算**：决定 P95 延迟（用户感知）✔。

两者要**同时**设 ✔：只限 token 可能仍然很慢（思考多但输出短 ✗），只限时间可能截断在半路 ✗。

| 任务 | 建议 |

|---|---|

| 分类/抽取/格式化 | **不需要思考**（关掉，直接答）✔ |

| 单跳问答、短改写 | 小额度（例如几百 token）✔ |

| 多跳推理、代码修复 | 中额度 ✔ |

| 复杂规划/数学证明 | 大额度，但**必须有超时与兜底** ✔ |

**关键**：把"需不需要思考"做成**可判定的路由**（按任务类型/输入长度）✔，而不是全局开关 ✗。

1. **必须能识别**（响应里有截断标记 ✔）；截断但当成正常结果返回 ✗ 是最危险的 ✗；

2. **降级策略**：给一个"缩短思考、先给结论"的重试 ✔；

3. **如实标注**：告诉用户结果可能不完整 ✔（见可解释那篇 ✔）。

思考 token 的**分布**（P50/P95，看长尾 ✗）；

**截断率**（被上限切掉的比例 ✔）；

单位成本与 P95 延迟（分任务类型 ✔）；

**"思考更长但没更好"的比例**（改动是否白花钱 ✔）。

1. **每次只调一个维度**（额度或时限），用同一批样本对照 ✔；

2. **结论要写样本量**（见小样本那篇 ✔）；

3. **上限进配置**（版本化 ✔），别散在代码里 ✗。

> 如果能证明"把额度从 X 提到 2X，正确率没变、成本翻倍"，那就该把上限设回 X ✔。

> 这件事必须用数据说，不能凭"感觉更稳" ✗。