RAP:研究注意力预测揭示目标条件化的证据获取偏差
RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases
精选理由
深度 92 / 新颖度 86,来自 arXiv cs.AI。
AI 摘要
大型语言模型(LLM)日益充当研究代理,但由于综述和研究想法缺乏可唯一验证的结果,评估其跟踪研究注意力变化的能力颇为困难。我们提出 Research Attention Prediction(RAP),这是一个滚动基准,涵盖 278 个 AI/ML 领域和 1,390 个事件。在每个截止时点,LLM 代理都会搜索时间受限的 arXiv 语料库,并预测接下来六个月内八个固定研究方向的论文占比。搜索通常有所帮助,但在组合准确性方面,四个诊断模型的表现都不如基于精确计数的指数加权移动平均(EWMA)基线。我们发现了两个相互关联的瓶颈。在可访问累积历史的条件下,对于全部四个诊断模型,State carry-forward 的表现都优于直接 Forecast;冻结证据重放表明,这一反转的一个共同组成部分与以 Forecast 为导向的策略获取近期证据占比较小有关。即使拥有精确的历史活动数据,面向未来的特定更新仍然有限,只有 GPT-5.5 加上重新开启的 Search 略微超过 EWMA。在已实现结果上进行微调后,Qwen3-4B 在后续起始点、留出的领域上的预测 Spearman 相关系数提高了 0.105,在变化丰富的事件中也取得了提升。