C-GRPO：共形组相对策略优化

arXiv:2611.05591v1 公告类型：新投稿 摘要：面向推理的语言模型训练越来越依赖多次同策略轨迹采样，但标准组相对策略优化（GRPO）采用固定的组大小，在简单提示上浪费计算资源，而对困难提示的探索又不充分。现有的自适应预算方法缓解了这种低效问题，但其停止规则具有启发式性质，无法提供有限样本校准保证。我们提出了 CGRPO，通过针对任务特定非一致性分数的经校准共形阈值，替代标准 GPRO 的固定轨迹采样预算，并结合了用于闭式推理的自适应预测集（APS）式校准、用于基于执行的代码任务的首次成功分数、自动误覆盖率选择以及周期性重新校准。我们证明了所得停止规则的有限样本覆盖保证，并表明，在策略单调改进的条件下，重新校准使预期训练预算保持非递增。在涵盖数学、研究生水平科学和代码生成的六项基准测试中，相较于固定预算的 GRPO，CGRPO 将平均训练轨迹采样次数减少了 49–70%，同时在固定预算下保持了较高的准确率；在不同数据集上，其 pass@1 在所评估的静态和动态基线中表现最佳；并且能够迁移至不同模型系列，最多节省 82% 的轨迹采样次数。