SRPO：用于长程推理的自反思策略优化

自我反思是人类学习中进行信用分配的一种强大机制，能够将稀疏的结果反馈转化为可操作的指导。然而，其在 Large Language Models (LLMs) 后训练中的潜力仍未得到充分探索。我们提出 Self-Reflective Policy Optimization (SRPO)，这是一个将这种能力内化的框架。SRPO 使 LLMs 能够分析自己已完成的轨迹，将错误综合为简洁的“反思补丁”，并将基于反思条件的教师评分用于学生的 on-policy rollout，作为密集的 token 级训练信号。该过程有效地将稀疏的终端监督转化为密集的 token 级学习信号，而无需外部评论器、单独的奖励模型或更大的教师模型。我们证明，SRPO 在数学推理和长程智能体基准上以极高的数据效率达到了最先进性能。使用 Qwen3-8B 基础模型，SRPO 仅使用规模化监督微调所需训练 FLOPs 的 8%（0.08x），就在 AIME'24 上达到 73.3%，同时显著提升了 WebShop（64.7%）、ALFWorld（76.8%）和 SWE-Bench-Lite（31.2%）上的成功率。代码可在 https://github.com/Galleons2029/SRPO 获取。