arXiv cs.AI精选77

Call Neighbours Yourself:目标条件化 on-policy 自蒸馏的图游走

Call Neighbours Yourself: Graph Walks with Destination-Conditioned On-Policy Self-Distillation

· 45天前

精选理由

帮助读者理解LLM如何主动检索图邻居并提升推理。

AI 摘要

在带文本属性的图(TAGs)上进行推理,需要大型语言模型(LLMs)将节点文本与分布在其邻域中的证据结合起来。现有方法在生成前固定可访问邻居的集合,迫使推理在静态上下文上进行,并使模型无法在推理过程中获取缺失的证据。我们认为,邻居选择本身也应成为推理过程的一部分。为此,我们提出 Call Neighbours Yourself(CNY),这是一个框架,使 LLMs 能够通过拓扑约束的图游走动作主动探索图邻域。与其在预先选定的邻居集合上进行推理,CNY 不如提供轻量级的邻居预览,并学习何时扩展候选邻居以获取额外证据。为应对邻居探索中的延迟信用分配挑战,我们引入 destination-conditioned on-policy self-distillation,它会在所选邻居内容揭示后回溯评估该邻居,并将由此产生的动作偏好变化转化为动作级训练信号。在统一的原始文本设置下,于标准 TAG 推理基准上的实验表明,CNY 始终优于固定上下文的后训练基线。此外,所学到的探索策略能够迁移到未见过的图,以及训练期间未接触过的图级任务。代码见 https://github.com/superallen13/CNY。

查看原文(arXiv cs.AI)