多轮强化学习究竟提升了 LLM 智能体的哪些能力？
What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
精选理由
揭示多轮强化学习的优势主要在纠错与长程韧性，并提出预算混合训练以提升不同交互条件下的稳健性。
AI 摘要
arXiv:2611.06483v1 公告类型：新论文 摘要：尽管多轮智能体强化学习（RL）在长时程任务上表现出色，但其性能提升仍对交互约束高度敏感。通过使用 $Pass@(K,T)$ 在采样广度 $K$ 和交互深度 $T$ 两个维度上进行评估，我们发现，轨迹级 RL 的优势依赖于充足的交互轮次预算，并会在预算收紧时显著减弱。此外，智能体 RL 并不会全面提升单步决策质量；相反，其优势主要集中在错误恢复和长时程韧性上。为缓解这种预算依赖所带来的部署风险，我们初步讨论了过程监督信号的益处与局限，并提出 BudgetMix RL 作为一种替代方案，在训练期间采用不同的交互预算。实验表明，BudgetMix RL 在多种执行设置下均能实现稳健的性能。项目页面：https://rethinking-agentic-rl.github.io/