文本图软提示中的词元坍缩现象研究

arXiv:2610.31572v1 公告类型：新提交 摘要：近期将图结构注入 LLM 提示的方法包括图软提示，其中图神经网络（GNN）学习图特定词元，以捕捉文本提示中实体之间的关系信息。G-Retriever 将图软提示与同一张图的文字描述相结合，以增强文本提示信号。我们对 G-Retriever 进行了深入分析，发现了一种我们称为词元坍缩的病态行为。在三个基准、三种图编码器、两个 LLM 系列，以及冻结模型和经 LoRA 适配的模型中，G-Retriever 针对不同输入生成的图词元变得几乎无法区分。我们提供的证据表明，后续方法也继承了同样的失效模式，即使采用多词元池化也不例外。在标准设置下，将词元替换为数据集词元均值、另一个样例的词元，或从受损图中生成的词元，均未对答案准确率产生可辨识的影响。此外，一个从不访问图的可学习常量提示，在全部三个基准上的表现都达到或超过了 G-Retriever。这些发现表明，坍缩后的词元并未按预期传递图内容，而主要起着通用软提示的作用。我们还考察了与这种坍缩相关的条件，并提出了一种两阶段流程，能够生成未坍缩的词元，同时在大多数情况下保持有竞争力的性能。然而，仅有词元的差异性并不能证明模型使用了图信息：通过干预和解码探测，我们表明，根据配置的不同，词元可能反映问题、答案先验，或源自图的内容，而 LLM 可能使用也可能不使用这些内容。总体而言，我们的结果为评估图与词元的对齐提供了一种实用方法，而非仅凭任务准确率来推断这种对齐。用于复现我们实验的代码见 https://github.com/difra100/Token_Collapse_KGQA。