大型语言模型的迭代削弱了对人工智能辅助科学写作的筛查

期刊和会议已开始对投稿论文进行筛查，以识别使用大型语言模型（LLM）生成的文本。这类筛查的可靠性依赖于针对一组固定 LLM 版本进行的基准评估，但实际使用的版本却在不断变化。本文量化了这种 LLM 更替如何影响科学论文的筛查。我们将《Proceedings of the National Academy of Sciences》中 4,000 篇 ChatGPT 出现前的摘要，与来自三家供应商的 23 个 LLM 版本所生成的改写文本配对；这些版本发布于 2023 年 6 月至 2026 年 8 月期间。随后，我们在不同的维护情景下训练检测器，从每出现一个新版本就重新训练的检测器，到训练一次后永不更新的检测器。在仅使用某一供应商过往版本训练的情况下，检测器可能在模型代际交界处性能崩溃：当其校准为误将 1% 的人工撰写摘要标记出来时，在最明显的交界点之前，能够检测出超过 99% 的改写文本，而在交界点之后仅能检测出 3.8%。使用较新版本训练的检测器也可能漏检较早版本生成的改写文本。不同版本之间的词汇差异，在很大程度上决定了检测能力可以迁移到何处，以及会在哪里失效。在我们模拟的两种筛查情景中，覆盖全部 23 个版本的筛查系统要么会将八分之一的人工撰写摘要标记出来，要么会漏掉最新版本改写文本中的三分之一。事实上，某款商业检测器漏掉了最明显交界点之后那个版本生成的大多数改写文本，却几乎没有将人工撰写的摘要标记出来。因此，科研诚信政策不应将检测器的基准准确率视为定论，而应将其视为暂定结果，并在每次 LLM 发布新版本时重新验证，包括对早期版本进行重新验证。