SetGRPO：校准评分器诱导的策略优化

基于评分细则的强化学习利用细粒度的评分器反馈，在开放式任务上训练大型语言模型，但评分器的随机性可能以仅凭分数差异无法刻画的方式改变 GRPO 更新。由于 GRPO 会在每个响应组内联合归一化奖励，并将所得训练系数与响应级梯度相结合，评分差异可能改变整个响应组的系数，并诱发依赖策略的更新变化。选择性执行还会进一步影响保留更新发生方向反转的风险。为解决这一问题，我们提出 Set-Valued Group Relative Policy Optimization（SetGRPO）。它包含三个模块：(a) Joint Reward Set Calibration 为训练系数构建联合不确定性集合；(b) Geometry-Guided Safe Recovery 将候选系数映射到当前策略的局部更新几何中，并确定每个响应组最大的安全恢复比例；(c) Selective Risk-Gated Optimization 通过独立的风险校准选择一个全局阈值，在保留原始 GRPO 目标的同时，控制所接受更新的条件方向反转风险。在可交换性假设下，SetGRPO 为联合系数集合提供有限样本边际覆盖保证，并对候选阈值实现同时风险控制。在涵盖三个领域的十个开放式基准测试中，SetGRPO 在 Qwen3.5 和 Llama3.2 模型系列上，均在所有对比训练方法中取得最高的宏平均表现。