训练语言模型以优雅应对失败

arXiv:2610.20401v1 公告类型：新提交 摘要：强化学习提升了语言模型解决任务的能力，但同一机制也会奖励猜测。当成功是获得奖励的唯一途径时，选择安全的回退方案总是不如进行成功希望渺茫的尝试。当错误操作可能损坏数据库或交付存在缺陷的代码时，这种激励可能带来高昂代价。因此，我们提出训练模型以优雅应对失败：尽可能保留成功完成任务的行为，同时学习在采取行动不可靠时执行安全的回退策略。然而，由于不利的优化动态，直接使用策略梯度并为回退行为给予中等水平的奖励，训练过程会很不稳定。为应对这一挑战，我们提出 GracefulRL，通过重塑优化景观来促进优雅失败。重要的是，这种行为直接从结果层面的奖励信号中涌现，无需标注何时应当回退，也无需验证器等额外的推理时机制。在一系列任务和不同规模下，我们训练出的模型基本保留了解决任务的能力，同时能在采取行动不可靠时有选择地回退。更广泛地说，我们的结果表明，强化学习不仅能激励模型取得成功，还能促使模型推理自身能力的边界，并在判断成功无望时改变行动方向。