极其简单的自我回顾无需 RL 即可提升智能体模型

人们不仅通过重复成功的行动来学习，也会通过复述和解释自己的经历，修正理解以指导未来行为。语言模型智能体能否仅通过训练其自身经历的解释来改进未来行动？我们通过研究 Retrospection-Only Fine-Tuning (ROFT) 来探讨这一问题；ROFT 是一种极简的在线流程，旨在隔离仅基于解释的训练对后续行为的影响。智能体尝试一项任务，观察可用反馈，生成回顾性解释，并仅在解释 token 上使用下一 token 预测损失进行微调。该流程既不使用外部教师，也不进行基于奖励的策略更新。在使用 Qwen3.5-4B 的软件工程实验中，ROFT 在基础模型尝试结果成功与失败混合的问题上进行训练。在留出的 SWE-bench Verified 和 Pro 上，在不使用验证器的情况下，它经过 20 次更新后达到 49.2% 和 26.8% 的解决率；相比之下，在所评估的运行中，GRPO 经过 40 次更新后的解决率为 48.0% 和 25.3%。ROFT 在训练时间和采样尝试次数方面也表现出更快的早期进展。它还学会了解决一些单个任务，而基础模型在这些任务上的 64 次采样尝试全部失败，这表明即使最初没有任何成功轨迹，学习也可以开始。行为分析发现，ROFT 会间接地为行动分配信用，鼓励好的行动并抑制错误行动。此外，通过提示回顾强调更直接的解决方案，即使没有显式长度惩罚，后续尝试也会变得更短。总体而言，这些发现表明，学习解释也能改善学习行动，确立了自生成回顾作为有用训练目标的价值，并推动对解释到行动迁移的进一步研究。