利用可学习的图位置编码扩展语言模型中的图推理

arXiv:2610.27439v1 公告类型：new 摘要：解决基于图的推理任务通常需要向语言推理模型（LRM）提供图的序列化描述。这种方法会导致输入长度随着边数增加，从而限制可解决问题的规模。此外，即使图能够放入上下文中，随着图规模增大，性能也会急剧下降。我们提出通过引入可扩展且置换等变的图位置编码来增强 LRM，从而调节注意力 logits。一个额外的后融合式模块将结构信息融入隐藏状态。我们使用 GNN 和 Graph Transformer 依次计算这些位置编码。这消除了对序列化邻接矩阵的需求，将上下文负担降至 $O(N)$。我们利用图论求解器生成的最优解，对位置编码器和 LRM 的 LoRA 适配器进行联合微调，从而得到一种计算高效的方法。在小图上训练后，该模型在图论任务中展现出更好的尺寸泛化能力，可处理多达 1,000 个节点的图，并且生成的 token 少于传统 LRM。此外，我们观察到该模型对节点重新标记仍具有鲁棒性。在图论基准测试中的评估还表明，该模型在小图上的性能得以保持。