GIST：面向离线 RLVR 的 Gibbs 目标导向分层数据选择

采用可验证奖励的离线强化学习（RLVR）在固定的采样回答池上进行训练，通常对每个回答中的每个词元都施加监督，尽管不同回答和词元所包含的信息量并不相同。我们通过 KL 正则化 RLVR 的 Gibbs 最优策略——即离线训练的目标策略——研究应当监督哪些回答和词元，并使用双向 KL 散度衡量策略与这一目标之间的偏差。在参考策略处，这种偏差可以被精确分解，并将两类结果区分开来：正确回答主要通过前向项产生贡献，集中于其低概率词元；错误回答则通过反向项产生贡献，集中于策略经常生成的回答及其中的高概率词元。基于这一分析，我们提出 GIST（Gibbs-Targeted Hierarchical Data Selection），这是一种两级选择方法，利用训练前即可获得的信号来近似实现上述原则。GIST 利用采样温度，按当前策略分布选择正确回答，并在策略分布的众数附近选择错误回答；同时利用初始策略的词元概率，仅对偏差所在的词元施加监督。将 GIST 应用于两种离线训练目标后，三个模型在这两种目标下，在 GSM8K、MATH-500 和 MBPP 上的平均准确率均有所提升。在 Qwen3-0.6B/GSM8K 上的受控比较中，GIST 的表现优于从相同候选回答中进行选择的七种选择基线，同时，相较于使用相同提示的全部候选回答进行训练，其受监督词元数量减少了 66.6%。