arXiv cs.AI精选78

DiffuPlan:面向扩散语言模型智能体的可编辑规划状态

DiffuPlan: Editable Planning State for Diffusion Language Model Agents

· 2天前

精选理由

介绍可编辑规划状态如何提升扩散语言模型智能体的多跳问答与搜索能力。

AI 摘要

扩散语言模型(dLLM)正逐渐成为自回归(AR)语言模型的替代方案,但 dLLM 智能体在很大程度上仍沿用为 AR 生成设计的交互协议:一旦中间状态被写入,后续观测只能通过追加更多文本来纳入。这与 dLLM 的一项核心能力并不匹配——根据同时出现在其前后文中的上下文,重建更早的文本。我们探讨了这样一种可能性:这一能力能否支持一种不同的智能体状态范式,使中间规划状态能够随着证据到来而被直接修改。我们提出 DiffuPlan,这是一种扩散搜索智能体,维护单一的可编辑规划状态;当后续证据解析出某个实体或改变搜索路径时,仅重建受影响的步骤。为支持可变长度的修订,我们引入 Expansion-Partition Marginalization(EPM),对等价的扩展路径进行边缘化。我们进一步将扩散轨迹 RL 适配到多轮搜索中。在四个多跳问答基准上,DiffuPlan 的平均 F1 达到 50.24,优于强大的 AR 搜索智能体。更重要的是,在数据和训练完全相同的条件下,可编辑规划状态使扩散智能体的性能提升了 2.44 F1,而其 AR 源模型仅提升 0.47 F1。这些结果表明,dLLM 无需模仿只能追加的 AR 智能体:修改已提交状态是一种独特的智能体优势。

查看原文(arXiv cs.AI)