自动事实核查系统有多稳健？一项跨基准评估

自动事实核查（AFC）系统检索证据并预测声明的真实性，但现有评估忽略了简单基线，这些系统通常只针对单一基准开发，无法被信任能够跨领域泛化。此前没有工作在多样化数据集上对完整的两阶段“先检索再验证”流水线进行交叉评估，这补充了仅限检索的研究（Thakur et al., 2021）和单阶段基准研究（Calamai et al., 2025）。我们在四个覆盖科学、开放网络和气候领域的数据集上，对九种模型进行了基准测试，范围从随机和稀疏基线，到微调的 transformer、zero-shot LLM，以及 AVeriTeC 2025 shared task 中排名最高的两个系统。结果有三点突出发现：（1）在 ClimateCheck 上，仅使用声明和微调的模型优于 zero-shot LLM 和 AVeriTeC 2025 表现最好的系统，说明噪声证据会削弱真实性预测；（2）系统排名强烈依赖领域和指标：在 SciFact 上最好的模型（macro-F1 0.70）在 ClimateCheck 上降至 0.31，而 AVeriTeC 2025 的冠军和亚军会根据评估指标和数据集互换排名；（3）用 gold annotations 替换检索到的证据后，各模型的真实性准确率提升了 14-22 个百分点，证实检索仍然是主要瓶颈。我们公开了代码、预处理后的数据集和全部结果，以支持可复现的 AFC 研究。