科学问题发现的历史回测：一项协议与天文学试点

当今，对生成科学研究问题的系统进行评估，依赖的是专家评分、LLM-as-judge 评级或精选案例研究——这些全都是主观的，没有一个可证伪。我们将历史回测形式化为一种替代方案：系统从在某个历史截止点冻结的语料库中生成问题；这些问题在接触任何后续文献之前被冻结；随后，一个在时间上隔离的未来语料库将判定每个问题后来是否被回答、部分涉及、被独立提出或被忽略，以及其 underlying premise 是得到支持还是被反驳。该协议与模型无关：任何输出冻结问题的系统都可以被评分。我们发布了可复现的天文学实例，包括在时间上隔离的语料库、冻结问题、可审计标签、四个参考基线和一个提交接口。由此得到两项发现。第一，证据结构优先的生成优于仅使用 LLM 的提示：在将生成器分解与四个截止点压力测试（2010-2024，798 个经评判问题）交叉进行的实验中，其最后一个时间窗口晚于模型训练；仅使用 LLM 的生成表现出记忆化的相关性，却没有具体预见力，而一个完全不使用任何模型权重的生成器，在每个时期都能找到其前提被未来反驳的问题。第二，一项七名评分者一致性研究（两名盲法人类标注者、五个 judge models、90 个条目）指向的问题不是 judge，而是结果分类体系：两名谨慎的人类标注者的一致性为 kappa = 0.17；每个 judge model 与专业标注者的一致性都达到或超过这一水平（0.17-0.26）；而 frontier models 彼此之间的一致性达到 0.60——用模型间一致性来认证 LLM judge，会将其可靠性高估三倍。我们发布了一个前瞻性实例——200 个于 2026-08-17 冻结的问题，将在 2027-2030 评分——使核心主张成为无污染测试，由时间本身来评分。