BackTrend：通过逆向重构评估科学弱信号预测

科学弱信号是指早期、低可见度的研究方向，它们后来会成为成熟科学主题的核心组成部分。然而，趋势跟踪、引文预测和前瞻报告等现有资源很少提供经过验证的参考集合，将具体的早期先兆与后来的范式联系起来。我们提出了 BackTrend，这是一项回溯式基准测试：给定一个成熟的目标主题和时间证据约束，系统必须找回两类先兆：问题空间信号，即未受到充分重视的研究问题；以及解决方案空间信号，即针对已知问题正在出现的方法。BackTrend 包含人工智能和机器学习领域的 25 个成熟目标主题，以及 66 个经人工验证的弱信号。这些弱信号从大规模文献中重构而来，并通过各候选信号在 2019-2024 年间的发表频率轨迹为其提供依据。我们使用语义匹配指标和基于覆盖率的指标，对前沿 LLM、RAG 系统和智能体研究系统进行了评估。当前系统经常生成看似合理但并不匹配的先兆，表现出主题漂移、粒度不匹配、近似但未命中的匹配，以及覆盖不完整等问题；最强系统的 F1 也仅达到 10.1%，而 Coverage10 对参考信号的覆盖率最高仅为 18.5%。我们的预算分析表明，在适度预算范围内，增加检索和网络搜索证据可以提升性能，但这本身无法弥合显著的性能差距。