AdviSD：通过针对性的多轮自蒸馏学习为前沿 LLM 提供建议

一个可训练的小型建议器可以利用自然语言建议引导冻结的语言模型执行器。除了从任务奖励中学习之外，建议器还可以利用已完成交互的反馈来改进其建议。然而，一个看似合理的纠正未必会改变执行结果，但从这类纠正中学习仍可能影响建议器在其他情境下的未来决策。对于共享参数的模型，我们证明，如果这类纠正的目标相比其他纠正的目标，对有用建议的偏好程度较低，那么它们会限制学习。与从每一次纠正中学习相比，较少保留这类纠正能够提升模型最终的性能。受此启发，我们提出 Advisor Self-Distillation (AdviSD) 方法，将基于结果的强化学习与来自反馈条件化建议器副本的选择性自蒸馏相结合。反思模块提出纠正意见，建议器分别评估同一条记录下来的执行器响应在有无其所给建议时的表现，并利用两者差异的幅度来选择需要监督的决策。该方法不需要执行器的似然，也不需要额外的执行器推演。使用面向 Gemini 和 Claude 的 Qwen3-8B 建议器进行的实验表明，在 BFCL-v3 上，AdviSD 比 advisor-GRPO 高出 4.2–6.4 个百分点；在 EnvScaler 上高出 3.9–5.1 分。训练得到的建议器能够泛化到域外任务，并可迁移到不同版本的执行器和不同模型系列。AdviSD 还优于匹配数量的随机选择结果，说明其选择规则具有价值。