长会话的成本控制:摘要频率与预算联动

人工智能 · 2026-10-07

多轮对话的 token 消耗超线性增长。本文给出会话级预算、三种摘要触发策略与推荐组合、摘要该保留什么、三个联动规则、该观测的四个指标与四个反模式。


长会话的成本是"斜着涨"的

多轮对话里,每一轮都要把历史带上 ✔。于是 token 消耗随轮数**超线性增长** ✗:

第 20 轮的输入可能是第 2 轮的十几倍 ✔。

**所以长会话必须做"摘要频率 + 预算"的联动控制** ✔,否则成本会在长会话里悄悄失控 ✔。

一、先给会话设预算

  • **单会话 token 预算**(例如 3 万 token 输入累计 ✔);
  • **单会话成本上限** ✔;
  • **单轮输入上限**(防某一轮把历史全带上 ✔)。
  • 预算**按会话累计** ✔(不是单轮 ✔),否则长会话永远超不了单轮上限 ✗。

    二、摘要触发策略(三种,按代价)

    1. **按轮数**:每 N 轮摘要一次 ✔(简单,但可能浪费 ✔);

    2. **按 token 占比**:历史占预算 **> 50%** 就摘要 ✔(推荐 ✔);

    3. **按话题切换**:检测到话题变化就摘要上一话题 ✔(效果最好,实现成本高 ✔)。

    **推荐组合**:预算占比触发(主)+ 轮数兜底(防极端 ✔)。

    三、摘要要"只留有用的"

    摘要必须保留(见多轮上下文那篇 ✔):

  • 用户**硬约束**(金额、时间、偏好 ✔);
  • **已确认的事实**(不要重复问 ✔);
  • **未完成的待办** ✔。
  • 丢弃:寒暄、重复确认、被推翻的中间方案 ✔。

    **摘要本身也要纳入预算** ✔(否则摘要越滚越大 ✗)。

    四、三个联动规则

  • **摘要后必须压缩历史** ✔:把被摘要的多轮**从上下文里移除** ✔(常见错误:摘要是"加"上去的,历史还留着 ✗);
  • **预算接近上限时降级** ✔:减少检索片段数、缩短输出上限 ✔(见降级那篇 ✔);
  • **超预算时明确告知** ✔("本会话较长,接下来只保留要点" ✔),而不是静默丢弃 ✗。
  • 五、该观测的四个指标

  • **每轮输入 token 增长曲线**(应该阶梯下降,而非线性上升 ✔);
  • **摘要触发次数/会话** ✔;
  • **单会话平均成本与 P95** ✔(长尾会话往往贡献大部分成本 ✔);
  • **摘要后的问题率**(用户是否因为"忘了"而重复提问 ✔ —— 升高说明摘要丢了关键信息 ✔)。
  • 六、常见反模式

  • **摘要只加不删** ✗(成本反而更高 ✔);
  • **全局统一阈值** ✗(短会话被无谓摘要,长会话仍超预算 ✔);
  • **不做观测** ✗(成本涨了才查,且查不出是哪类会话 ✔);
  • **把图片/附件每轮重复带上** ✗(最容易被忽略的成本源 ✔)。
  • 一条判据

    > 把"输入 token 随轮数"画成曲线 ✔,它是否**阶梯式**(摘要后下降)而不是**线性上升** ✔?

    > 线性上升说明摘要没有真正压缩历史 ✗。

    想要你的品牌在AI回答里被推荐?

    免费诊断 →