奖励能够适应任意测试时约束的预算感知多轮智能体

arXiv:2610.28409v1 公告类型：新 摘要：大型语言模型智能体通常会获得一个推理预算，并被要求在预算范围内最大化成功率。多轮智能体必须在多次环境交互之间分配这一预算。外部控制框架可以强制执行预算，但智能体自身是否能够学会何时以及花费多少预算，仍不明确。我们探究智能体能否在动态指定的预算下学会这种分配，以及哪些奖励最能教会这种行为。我们将现有的长度惩罚机制适配到涵盖多种资源类型的预算约束中，引入新的奖励形式，并在统一的训练流程中比较了十一种目标函数。我们在 AppWorld 上使用涵盖 token、API 调用次数和环境步数的预算训练 4B 和 9B 的 Qwen3.5 模型，并在 BabyAI 网格世界中使用回合预算进行训练。对于每个环境和资源类型，我们分别训练一个策略，并让每个策略在多个预算值下进行训练。使用惩罚超额支出的奖励进行训练，相较于未经训练的模型以及仅基于任务成功进行训练的模型，显著提升了预算内成功率和自然遵从性；智能体学会了根据指定预算和任务难度调整资源使用。这些提升能够推广到未见过的预算，并且以零样本方式推广到分布发生变化的任务以及新的基准测试。不同奖励目标在预算内成功率和自然遵从性之间存在权衡。对于单个预算，针对超额支出的 sigmoid 惩罚最常实现最高的预算内成功率；而对超额支出给予固定负奖励通常能带来最强的自然遵从性。结合对超额支出频率和幅度的惩罚，在各个预算下与最佳方法之间的平均差距最小。总体而言，我们表明，单个智能体无需外部预算分配控制器，仅凭预算反馈就能学会跨回合分配资源，并根据用户指定的预算调整自身行为。