ReSI-Math:探索高效推理改进的可恢复能力前沿
ReSI-Math: Exploring Recoverable Capability Frontiers for Efficient Reasoning Improvement
精选理由
深度 91 / 新颖度 86,来自 arXiv cs.AI。
AI 摘要
带可验证奖励的强化学习(RLVR)已成为提升大语言模型数学推理能力的有效方法。然而,一个根本性问题仍然存在:当模型无法解决某道题时,它是否真的缺乏相应的底层能力?在本研究中,我们揭示了直接失败并不一定意味着能力欠缺。一些推理失败可以通过探索模型自身的轨迹得到恢复,从而暴露出一种可恢复能力前沿:这是一个依赖策略的区域,在该区域内,模型无法通过直接解码稳定地产生解答,但可以通过轨迹级搜索将其能力诱导出来。基于这一观察,我们提出 ReSI-Math,这是一种探索可恢复能力前沿并将恢复的能力转化为数据高效 RLVR 监督信号的框架。ReSI-Math 使用 Self-Judge 引导的进化搜索,在固定策略下识别可恢复的失败案例,并随着策略演进自适应地选择前沿问题进行序列式 RLVR。在 Qwen3-VL-8B 上,正确与错误轨迹的交叉操作在 621 次尝试中生成了 272 个经验证器确认正确的子代,成功率为 43.8%。经过三阶段序列式单轮 RLVR 后,MATH500 和 WE-MATH 的平均得分从 78.71 提升至 80.16。在匹配的单题 RLVR 设置下,随机选择仅达到 53.31,而前沿引导的 Q1 达到 54.16。