CARM：面向取消效应的 LLM 强化学习响应掩码

arXiv:2610.02039v1 公告类型：新 摘要：近年来，强化学习（RL）在大型语言模型（LLM）后训练中的应用迅速普及，并在数学推理和代码生成方面取得了显著提升。然而，在实际系统中，策略更新以及 rollout 引擎与训练引擎之间的差异，可能导致采样响应偏离策略。序列级掩码通过决定整个响应是否应参与优化来应对这种不匹配。一种常见的掩码规则使用采样 token 概率比的长度归一化几何平均值。其带符号的对数比值可能在不同位置之间相互抵消，从而掩盖显著的双向策略漂移。我们提出 Cancellation-Aware Response Masking（CARM），这是一种序列级掩码，在求平均之前先对每个 token 的对数比值取绝对值，从而防止相反方向的概率变化相互抵消。我们证明，被接受的响应满足一个联合界：该界同时约束采样 token 概率比落在预设区间之外的比例，以及这些比值超出区间边界部分的平均对数距离。在数学推理和代码生成任务上的实验表明，与几何平均掩码相比，CARM 可使 AIME 2024/2025/2026 和 BeyondAIME 的平均 mean@16 提高最多 3.13 个百分点；与所评估的最强基线相比，在四个代码基准测试中的平均 pass@1 提高 2.88 个百分点。这些发现表明，CARM 是一种具有理论依据且有效的方法，可用于 LLM 强化学习中的响应级离策略控制。