LLM 自我改进循环中的赢家诅咒：选择噪声、锁定效应与接受规则

arXiv:2610.09239v1 公告类型：交叉收录 摘要：自我改进的 LLM 系统会提出对自身的修改，并保留那些在小规模评估集上得分更高的修改。我们将这一“更好就保留”的步骤视为测量噪声下的选择，对单次决策中候选方案的相关误差进行建模，并通过实证研究考察重复使用评估集会产生什么后果。在 Qwen 模型重写自身指令、且每个候选方案还会在 600 个留出样本上评分的实验中，首个提案之后的大多数提案都有害，而该统计模型能够给出一代中最佳候选方案的赢家诅咒幅度。采用来自独立预实验的先验后，该模型与原生循环中第一代已接受修改的平均高估幅度相吻合，但并非在每种设置下都吻合。在一项预注册研究中，使用 16 个选择样本时，贪心循环最终的选择集得分比留出集准确率高出 13 至 20 个百分点；使用 256 个选择样本时，则高出 1 至 5 个百分点。在 TREC 上，留出集上的增益随选择集规模扩大而增加，但在 GSM8K 上并非如此；从完整运行过程来看，所测试的接受规则未能胜过贪心接受。当现有模型优化一条表现良好的指令时，以及在 GEPA 和 MIPROv2 的验证得分中，选择集上测得的增益同样超过了留出集上的增益。在 64 个从未用于选择的样本上对初始指令和当前指令评分，可以消除循环所报告增益的平均偏差，但单次估计仍会偏离约 6 个百分点。自我改进研究应报告留出集上的增益及其不确定性。