哪一次 Rollout 教会了它这一点？BehaviorTrace 与在线 RL 中训练数据归因的局限性

arXiv:2610.10422v1 公告类型：新 摘要：当强化学习教会语言模型一种新行为时，我们能否找到教会它该行为的训练 Rollout？而当某种归因方法声称自己能够做到这一点时，我们又如何知道答案确实可靠？我们在使用 GRPO 进行在线 RL 微调的场景中研究了这两个问题，并采用了一种成因已知的预置行为。我们发布了 BehaviorTrace，这是一个开放的评测工具框架，结合了全梯度 sketching、预置行为设置，以及针对梯度大小、流畅度、提升空间和不同随机种子与生成采样之间变化的控制。在 Qwen2.5-1.5B 的三个随机种子实验中，表面上的归因信号很大一部分来自混杂因素。一个仅按梯度大小对训练步骤排序、完全不使用行为目标的对照方法，达到了随机水平的 4.2 至 4.5 倍，并且在三个随机种子中的两个上达到或超过了最佳目标导向估计器的表现。在已饱和的检查点上，模型流畅度对行为标签的预测能力至少与我们比较的所有梯度方法一样强。在控制流畅度之后，逐 Rollout 的结果会随随机种子以及每次生成采样而变化，因此单次运行无法定论。有一个信号在三个随机种子上都成立：触发词元的梯度会与根据行为实际发生之处构建的目标相一致。基于这些发现，我们提出了一份用于评估 RL 中归因方法的检查清单。我们测试了现有估计器，包括 GAS（重新归一化的 TracInCP）和 TRAK 风格的估计器，但没有提出新的估计器。