运行框架策略蒸馏：使智能体策略与运行时语义对齐

arXiv:2610.20261v1 公告类型：新论文 摘要：将通用模型部署为智能体，意味着让它在特定产品的运行时框架中运行，该框架决定哪些动作可以执行、状态如何推进，以及循环何时可以终止。常规轨迹监督展示了所采取的动作，却未显式呈现该动作背后的运行时语义。我们提出 Harness Policy Distillation（HPD），将这些运行时控制语义与动作一起作为显式训练目标，以实现与运行框架策略的对齐。HPD 通过运行框架重放参考轨迹，恢复常规轨迹数据中隐含的运行时语义，并在每个模型调用边界将其表示为控制文档。这些文档为教师模型生成动作提供特权信息，而运行框架验证则确保所得目标在运行时契约下可执行。我们利用从控制状态特权信息和原生历史中恢复的运行时语义，对一个共享模型进行联合训练，从而将这些语义内化到模型策略中。部署时，训练后的模型使用原有的运行框架接口，无需控制文档或任何额外补充信息。在采用 Pi 运行框架的 TRAJECT-Bench 上，经 HPD 训练的 Qwen3-8B 达到 22.98% 的自主任务成功率和 49.23% 的运行时合规率，而未经适配的模型分别为 3.09% 和 19.90%。经运行框架验证的教师模型动作显著改善了原生部署策略，而联合控制状态监督则进一步提升了任务完成率和运行时合规率。HPD 将可执行的运行时语义转化为密集监督信号，用于在每个决策边界学习与运行框架兼容的动作。