GIST：面向离线 RLVR 的 Gibbs 目标导向分层数据选择

arXiv:2611.06395v1 公告类型：交叉发布 摘要：具有可验证奖励的离线强化学习（RLVR）在固定的采样回答池上进行训练，通常对每个回答的每个词元施加监督，尽管不同回答和词元所包含的信息量并不相同。我们通过 KL 正则化 RLVR 的 Gibbs 最优策略（即离线训练的目标策略）来研究应监督哪些回答和词元，并使用双向 KL 散度衡量策略与该目标之间的不匹配。在参考策略处，这种不匹配可以精确分解，并区分两类结果：正确回答主要通过前向项产生贡献，集中于其中的低概率词元；错误回答则通过反向项产生贡献，集中于策略经常生成的回答及其中的高概率词元。基于这一分析，我们提出 GIST（Gibbs 目标导向分层数据选择），这是一种双层选择方法，利用训练前可获得的信号近似实现上述原则。GIST 利用采样温度，按当前策略分布选择正确回答，并在策略分布的众数附近选择错误回答；同时利用初始策略的词元概率，仅对不匹配所在的词元施加监督。将 GIST 应用于两种离线训练目标后，全部三个模型在两种目标下于 GSM8K、MATH-500 和 MBPP 上的平均准确率均得到提升。在 Qwen3-0.6B/GSM8K 上的受控比较中，GIST 优于从相同候选回答中进行选择的七种选择基线，同时，相较于使用相同提示的全部候选回答进行训练，其受监督词元数量减少了 66.6%。