PaperScorer：论文接收有多可预测？

arXiv:2610.31791v1 公告类型：新 摘要：自动化研究在很大程度上通过基准测试性能进行评估，但研究的价值很少能归结为单一分数。人类通过同行评审从整体上判断一项工作的贡献，而同行评审难以建模，因为它具有噪声并且取决于许多因素。然而，如果仅给定论文，我们能否直接预测其同行评审决定？我们提出了 PaperScorer，这是一个模型系列，可根据论文提取的文本或页面截图预测论文的接收或拒绝决定；模型训练时仅使用评审决定，并移除了作者身份和格式捷径等信息。视觉模型的预测能力最强（在 ICLR 论文上的准确率为 68%，在 arXiv 上的 ML 论文上的准确率为 77%），超过了纯文本模型和前沿推理模型。与纯文本不同，页面图像保留了图表、布局和呈现方式。这一信号具有很强的稳健性，即使使用更小的模型，甚至将整篇论文压缩成单张图像，也依然有效。但准确的预测并非均匀分布。PaperScorer 在评分最低和最高的论文上表现最强，而评分处于中间区间的论文对于我们的模型和前沿系统来说都仍然难以预测。此外，其置信度经过校准，因此最有把握的预测也是最准确的预测。总体而言，PaperScorer 展示了一篇论文本身携带了多少关于评审决定的信息，标志着迈向 AI 驱动的研究评估的第一步。