凌晨三点,你需要的是手册不是搜索
值班时最怕的不是故障 ✗,而是**不知道该看什么** ✔:
打开一堆面板 ✔、翻聊天记录找上次怎么处理的 ✔、问人但没人回 ✔。
**写一份"运维手册"** ✔:按症状索引 ✔,每一页给出"看什么、做什么" ✔。
一、手册按"症状"组织(不是按系统 ✗)
```
症状 A:答案突然变短 → 看 ①输出长度指标 ②最近是否降级 ③上游是否限流
症状 B:大量空结果 → 看 ①检索命中率 ②索引是否可读 ③解析是否报错
症状 C:延迟翻倍 → 看 ①分段延迟 ②上游 P95 ③是否在重试
症状 D:成本异常升高 → 看 ①重试占比 ②缓存命中率 ③是否有租户异常用量
症状 E:用户说答案不对 → 看 ①失败类型分布 ②最近发布 ③该请求的 trace
```
**要点**:**先给"看什么"(一条查询/一个面板 ✔),再给"做什么"** ✔。
二、每页的固定结构(五段)
```
① 症状描述(怎么发现它)
② 三分钟定位(看哪三个指标 + 现成查询)
③ 常见原因(按概率排序)
④ 处置动作(含"何时该升级/回滚")
⑤ 记录要求(记什么,便于复盘)
```
**第 ④ 项要写清"止损优先"** ✔:先回滚/降级 ✔,再找根因 ✔(见灰度开关 ✔)。
三、手册的四条纪律
1. **每步骤都要能执行** ✗→✔("检查一下上游" ✗ → 给出具体命令 ✔);
2. **含联系人**(谁在什么时段能拍板 ✔ —— 见降级链那篇 ✔);
3. **季度演练**(照着手册做一次 ✔ —— 见断上游演习 ✔);
4. **事故后更新**(新症状进手册 ✔ —— 见复盘 ✔)。
四、三个反模式
五、一条判据
> 一个**没参与过这个项目**的值班人 ✔,能否靠手册在 15 分钟内定位常见故障 ✔?
> 不能,说明手册还停在"给熟人看的笔记" ✗。