重大主张，小幅差距：报告的 GraphLLM 增益能经受住简单基线的检验吗？

arXiv:2610.28714v1 公告类型：新 摘要：基于 LLM 的方法在文本属性图（TAGs）上的节点分类任务中，通常会报告最先进的准确率。我们考察这些结果与在相同数据划分上运行的低成本基线相比表现如何。在三项近期研究的数据划分上，我们通过仅使用验证集进行选择来调优四种基线代表方法，并将它们与各论文在匹配设置下报告的某种基于 LLM 方法的最高平均值进行比较。在 TF-IDF 特征上使用 Correct & Smooth 的结果比该参考值的中位数低 2.3 个百分点，而在冻结的 e5-large-v2 嵌入上使用 MLP 的结果低 2.8 个百分点。在 24 项任务中的 15 项中，Correct & Smooth 与参考值的差距不超过 3 个百分点，或表现更好；但在 22 项可检验任务中的 12 项中，参考值显著更高，因此若干已报告的增益仍然相当可观。通过将发布的代码与论文对照阅读，我们还记录了评估风险：在测试集上选择超参数或检查点、将测试池节点的标签用于训练、未披露便重复使用基线数值，以及发布的 Cora 加载器中存在文本与标签错位。同一方法在同一数据划分上的报告结果，在配置未被证明相匹配的论文之间，差异最高也可达 12.5 个百分点。