干预认证放大:用于 $σ$ 加权后训练的有效性门控
Intervention-Certified Amplification: A Validity Gate for $σ$-Weighted Post-Training
精选理由
提出用目标任务干预证据筛选训练信号,抑制有害行为放大,同时提升数学推理准确率并增强跨任务迁移。
AI 摘要
混合后训练通常结合监督微调(SFT)与强化学习(RL),利用训练侧信号设定每个样本的二者权重。这类信号刻画了锚定数据和策略,却无法表明被强化的行为是否有助于目标任务及其评估场景。这种错配可能重新激活并放大预训练行为,即使监督数据中已移除其显式形式。我们通过 DIAA(Dual-Implicit Adversarial Amplification)展示了这一现象;DIAA 是一种逐样本 $σ$ 加权的 SFT/RL 混合方法。在其锚定数据中移除所有显式 Python 代码围栏后,DIAA 仍在 $29%$ 的 MATH-500 提示上生成未经执行的工具集成推理(TIR),比例是原始 GRPO 的三倍。配对干预表明,抑制 TIR 可使准确率回升 $10.6$ 个百分点,而 SFT 模仿与 $σ$ 放大的贡献相当;使用 TIR 占比为 $0%$ 的教师锚定数据训练的学生模型,生成 TIR 的比例却达到 $45.8%$。Intervention-Certified Amplification(ICA)利用配对轨迹采样获得的目标侧证据对 $σ$ 进行门控。冻结式和在线式 ICA 分别将 TIR 比例降至 $13.8%$ 和 $11.2%$,将残余性能拖累减半,使准确率从 $47.5%$ 分别提升至 $48.7%$ 和 $49.3%$,并且无需重新调参即可迁移至留出的 GSM8K 数据集。