面向动态推理的修订感知独立智能体图
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
精选理由
提出版本感知的多智能体推理框架,以更少调用减少动态任务中的过时结论。
AI 摘要
传统推理协议呈现一个固定且预先选定的任务,因此无法检验智能体是否能够传播相关更新、保留不受影响的工作,或重建历史任务绑定关系。为此,我们研究动态任务路由:在这一 setting 中,事件流会修订任务绑定关系,系统必须先在每个查询时刻选择有效的文档版本,然后对其进行求解。为研究这一问题,我们重新利用六个广泛使用的基准:MMLU、MMLU-Pro、MedMCQA、MATH、GPQA 和 HumanEval,将其转换为包含 31,119 个动态 episode 的数据集,其中包括 373,428 个按时间分类的查询。这一 setting 揭示了一个核心权衡:每次事件发生后重新计算会浪费工作,而不加防护地复用结果则会返回过时的结论。我们提出修订感知独立智能体图(RIAG),这是一种有界多智能体策略,将确定性的时间解析与任务推理分离开来。RIAG 按不可变的文档身份缓存解决方案,为每个新任务启动两次彼此独立且不公开的尝试,并有条件地调用审计与修复流程,每个文档版本最多调用四次。在该数据集上,同质 RIAG 以每个查询 0.62 次调用的代价,实现了 54.24% 的路由与答案联合准确率;相比之下,最强对比方法以每个查询 18.00 次调用实现了 32.22% 的准确率。异质 RIAG 则以每个查询 0.63 次调用达到 49.78% 的准确率。