错误预算:允许错多少、超了怎么办

人工智能 · 2026-10-07

没有可接受的错误水平,每次出问题都在争「算不算严重」。本文给出定预算的三条依据、预算的两种用法、与发布门禁的分工与三个反模式。


"允许错多少"要事先说清

AI 功能不可能零错误 ✔。但很多团队**没有定义"可接受的错误水平"** ✗,

于是每次出问题都在争论"这算不算严重" ✔ —— 争论没有依据 ✔。

**引入"错误预算"** ✔:事先约定可接受的失败量 ✔,用完就停止加新功能、先修质量 ✔。

一、怎么定预算(三条)

1. **按后果定**(错了会怎样 ✔ —— 见需求七问 ✔):

影响资金/合规的 → 预算极低 ✔;影响体验的 → 可放宽 ✔;

2. **按指标定**(可测量的 ❌ 而不是感觉 ✔):

例如"该拒答却作答率 ≤ 1%""格式合规率 ≥ 99%" ✔;

3. **按周期定**(每周/每月重置 ✔),并**公开可见** ✔。

**示例** ✔:

```

本周预算:

该拒答却作答:≤ 3 例(当前 1 例)

格式合规率:≥ 99%(当前 99.4%)

P95 延迟:≤ 4s(当前 3.1s)

```

二、预算的两种用法

  • **没超预算** ✔ → 可以继续推进新功能(质量在可控范围 ✔);
  • **超了预算** ✗ → **优先修质量** ✔(暂停或减少新功能 ✔ —— 这是这套机制的价值所在 ✔)。
  • **要点**:错误预算不是"允许摆烂" ✗,而是**把"什么时候该停下修质量"变成客观判断** ✔。

    三、和"发布门禁"的分工

  • **发布门禁**(见发布门禁那篇 ✔):**单次改动**不许让指标退化 ✔;
  • **错误预算**:**一段时间内**整体可接受的失败量 ✔。
  • 两者配合 ✔:改动不能一次变差 ✔;长期累积也不能超预算 ✔(否则就该系统性整改 ✔)。

    四、三个反模式

  • **预算定得不可能达到** ✗(每次都超 → 大家就不看了 ✔);
  • **只看总量不看类型** ✗(该拒答却作答 1 例 ≫ 格式错 50 例 ✔);
  • **超预算没有后果** ✗(那就不是预算,是装饰 ✔)。
  • 五、一条判据

    > 现在这个功能的"错误预算"是多少 ✔?本周用了多少 ✔?

    > 答不出,说明质量还没有"可承诺的水平" ✗。

    想要你的品牌在AI回答里被推荐?

    免费诊断 →