ArcFlow：针对多种求解器预算训练流策略

arXiv:2610.28788v1 公告类型：新 摘要：流匹配策略通过求解器步数调整推理成本，但在单一固定求解器预算下进行强化学习，可能掩盖在更低部署预算下的性能退化，甚至抹去预训练策略中有用的一步行为。我们提出 Action-Ratio-Clip Flow（ArcFlow），这是一种面向部署的算法，用于在指定的求解器预算范围内训练单个流策略。ArcFlow结合了动作对齐监督、预算暴露和最差预算检查点选择。对于重建目标，其桥接机制将时间探针聚合为每个动作对应的一个替代比率和一个 PPO 风格裁剪项，并使边界残差恰好等于部署时的一步重建误差。循环训练使共享场暴露于部署预算范围内，而检查点选择则优化其性能下限。对于原生速度目标，多预算端点监督遵循相同原则，同时不替换原生更新。两种实现都保留了模型架构和部署时成本。在 DM Control、操作和运动任务上，在每种方法各自报告的训练设置下，ArcFlow 在 30 个任务中的 25 个任务上取得了五种流策略基线中最高的平均一步回报。组件研究表明，边界监督、固定网格桥接、预算暴露和部署选择均带来了互补的改进。这些结果表明，面向部署预算的训练是实现强低步数控制的有效途径，使一个策略能够服务于多种推理成本。