MS-TTRL：打破多解测试时强化学习中的频率冲突

arXiv:2610.32234v1 公告类型：新 摘要：科学、工程和数学推理任务可能存在多个有效解，而对完整解集进行穷举式标注的成本往往高得难以承受。测试时强化学习（TTRL）将强化学习应用于未标注的测试实例，为多解推理提供了一种无需标签的方法。在这一设定下，生成频率服务于两个相互对立的目标：正确性估计倾向于频率较高的结果，而结果级多样性保持则倾向于频率较低的结果。我们将这种张力称为 Frequency Conflict。为解决这一冲突，我们提出 MS-TTRL，通过 Outcome-Level Self-Verification 获得与频率无关的正确性估计，同时仅将生成频率用于多样性保持。Three-State Outcome Cache 和 Candidate State 支持在重复观测之间复用验证结果，并以置信度感知的方式处理模糊结果；Confidence-Gated Inverse Probability Scaling 则选择性地增强对稀有且经过可靠验证的结果的学习信号。在两个基准、四项多解任务和三种骨干模型上的实验中，每项实验均使用五个随机种子进行评估。结果表明，与表现最佳的无标签基线相比，MS-TTRL 将 Recovery Rate 平均提高了 19.13 个百分点，并且性能接近有监督的 IPS-GRPO。