arXiv cs.AI精选72

GRAIN:通过赋予不变性奖励的 Agentic RL 弥合真实世界图推理中的名称与叙事变化

GRAIN: Bridging Name and Narrative Shifts in Real-World Graph Reasoning through Invariance-Rewarded Agentic RL

· 47天前

精选理由

帮助读者理解图推理如何在名称变化下保持鲁棒并提升效率

AI 摘要

尽管 Large Language Models(LLMs)在标准化图任务中具有潜力,但在节点标识符和任务表述发生真实世界变化时仍然十分脆弱。确定性图工具对这类变化具有不变性,而对于 LLMs 来说,从噪声文本中提取拓扑结构却极其脆弱,它们往往会对表面模式过拟合。此外,通过多智能体系统缓解这些解析失败会带来高得难以接受的延迟。为此,我们提出 GRAIN,一个通过强化学习优化的单智能体框架。GRAIN 将推理建模为一个语义解析与工具执行流水线,并由 Structure Invariance Reward 进行引导。通过将提取的中间图与真实拓扑进行验证,该奖励迫使 LLM 学习稳健的文本到结构映射,而不是记忆语言表象。我们还引入了 GRIT,一个用于评估对这类语言变化敏感性的基准。GRAIN 在准确率上比多智能体基线高出 16.45\%,同时延迟约降低 24\%。此外,它展现出更强的结构泛化能力,将 SFT 模型的分布外(OOD)差距减半(从 15.77\% 降至 7.80\%),并在超出训练分布的大规模图上保持稳健性。

查看原文(arXiv cs.AI)