ActionOPD：蒸馏决策，而非词元

将能力强大的语言模型智能体蒸馏为更小的模型，需要使学生模型的行为与教师模型保持一致。这引出了一个根本问题：应当在哪些状态下、以何种粒度进行这种对齐？离线模仿提供密集但针对特定词元的监督，并且可能受到状态分布不匹配的影响。词元级同策略蒸馏（OPD）解决了这一不匹配问题，但通常需要获取教师模型的词元概率，并要求兼容的分词方式。我们认为，语义动作是智能体蒸馏的自然监督单元。我们提出 ActionOPD，这是一种动作级同策略蒸馏方法，其出发点是在学生模型遇到的状态下，最大化教师动作的期望似然。在每个这样的状态下，ActionOPD 分别从学生模型和黑盒教师模型中采样动作，并根据学生动作与采样得到的教师动作在语义上的一致程度给予奖励。通过策略优化，ActionOPD 使学生模型的动作级行为与教师模型的决策保持一致，而无需复现教师模型撰写的推理过程，也无需获取教师模型的词元概率。在多样化、经过精心筛选的工具使用任务上，利用两个教师模型训练 Qwen3-4B 和 Qwen3-8B，使其在四个分布外基准上的表现平均提升了 3.3–6.9 个百分点。随着学生模型规模和教师模型能力的提升，ActionOPD 展现出良好的扩展性，且不要求教师模型与学生模型属于同一模型家族或使用相同的分词器。在 $τ^2$-bench 上，ActionOPD 相较于离线蒸馏和词元级 OPD 取得了具有竞争力的表现。我们还进一步探索了 Self-ActionOPD，该方法使用同一模型作为教师，并为其提供特权上下文。这些结果表明，ActionOPD 是一种前景可期的智能体蒸馏方法。