注入一个轮次，而非一个词元：学习在何处重定向 LLM 推理以实现自我纠错
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
精选理由
无需微调模型，学习在推理何处插入新一轮指令，提升自我纠错准确率并可迁移到不同模型与任务。
AI 摘要
大语言模型难以可靠地识别并纠正自身推理中的错误。以往基于训练的方法通过微调 LLM 来生成修订或反馈，而我们学习的是在失败的生成轨迹中何处进行干预，以及如何重定向这些轨迹。为选择干预位置，我们在冻结的编码器上训练一个具有 13 万参数的 MLP 头，仅以最终答案的正确性作为监督信号。在重定向方面，我们发现，在固定的生成预算下，所测试的行内注入无法可靠地重定向推理，而在新的用户轮次中呈现同一条指令则能改变模型的推理走向。由此得到的纠错框架 UPTURN（在学习得到的位置注入用户提示轮次）无需微调 LLM：它保留选定的前缀，将指令作为新的用户轮次注入，并重新生成后缀。在四个推理模型和六个数学基准测试中，UPTURN 在所有设置下的平均准确率均高于生成 32 条轨迹的基线。在相同的纠错预算下，它优于自我纠错和反思词元注入基线；无需重新训练即可迁移至其他推理模型及 GPQA-Diamond，并可与 GRPO 和自我纠错方法互补。