把提示词改动做成可复现的对照实验

提示词改一句措辞，效果是变好还是变坏？本文给出四步做法（固定评测集与判定标准、一次只改一个变量、成对比较、记录可复现信息）、五个常见误判与最小执行流程。

提示词改动也要做对照实验

改一句措辞，效果是变好还是变坏？凭"试几个例子"很容易误判——因为**样本太少、方差太大**，

而且人容易记住支持自己判断的那些例子。把提示词改动做成**可复现的对照实验**，结论才站得住。

**一、固定评测集与判定标准**

用同一批样本（100~300 条）、同一套判定规则（见"评测集"那篇）。判定标准要**先写**，

不能看完结果再定。

**二、一次只改一个变量**

对照：`prompt_v3`；实验：`prompt_v3 + 一处改动`；

模型、参数、温度、检索结果都保持不变，否则无法归因；

改动写进**变更说明**（动机、做法、预期影响）。

**三、成对比较，而不是绝对打分**

同一批样本上，两个版本各跑一遍，逐条比较：

更好 / 一样 / 更差；

统计"更好减更差"的净胜数；

关注**失败类型**的变化（例如变好的同时"编造"变多了，是恶化）。

**四、记录可复现的信息**

版本号、样本集版本、模型版本、参数、原始输出（脱敏后）。

下次有人质疑，能直接复跑。

**只看几个惊艳例子**：挑出来的例子通常不代表整体分布；

**一次改三处**：变好了也不知道是哪一处起的作用；

**用训练/调试过的样本当评测集**：等于自己给自己判卷（过拟合）；

**忽略长度与成本**：提示词变长会同时抬高成本与延迟，要一并记录；

**结论不写样本量**：应如实写"在 N 条样本上，净胜 X 条"，而不是"明显更好"。

1. 冻结评测集与判定标准；

2. 跑对照版本，得到基线（正确率 + 失败类型分布 + 成本/延迟）；

3. 改一处，跑实验版本；

4. 逐条成对比较，输出净胜数与失败类型变化；

5. 达标就合并；不达标就回滚，并把这次结论写进变更说明（**包含没变好的地方**）。