AI4Math 淘金热，第二篇：AI 辅助证明有哪些特征？

AI 在数学中的应用日益广泛，这引出了一个问题：我们能否将 AI 对证明的参与与 AI 对写作的辅助区分开来，并检测前者？历史 arXiv 论文、近期披露实质性使用 AI 的论文，以及 OpenAI 发布的手稿，为研究这一问题提供了丰富的实证基础。然而，仍存在若干挑战：缺乏匹配的病例—对照配对；披露可能不完整；以及缺乏旨在捕捉 AI 参与证明信号的现成特征。为应对这些挑战，我们将现有手稿与我们使用生成式 AI 产出的手稿相结合，构建了五个队列，共包含 8,281 篇论文。这些队列涵盖不同程度的 AI 参与，并包含针对相同研究问题的配对论文。随后，我们提出 ProofTrace，这是一个将每篇论文表示为直接证明支持图（GIPS），并提取数学组织结构可解释特征的框架。我们的研究得出了三项发现。首先，这些特征的主成分投影揭示了 AI 参与程度的定性梯度：经 AI 改写的论文仍接近人类撰写的论文，两个 AI 生成论文队列沿大体相同的方向偏离，而披露实质性使用 AI 的论文则处于中间位置，且随着时间推移向 AI 生成论文队列靠近。其次，我们识别出 AI 生成证明中反复出现的特征，例如引用的外部结果更少、对中间结论的依赖更强，以及图的连通性发生变化；在控制研究领域、手稿长度或图规模后，其中许多特征依然存在。最后，在一项独立的检测实验中，ProofTrace 能够区分人类撰写的论文与披露实质性使用 AI 的论文。在经过 AI 改写后，其性能仍保持稳定，而最先进的基于文本的检测器性能则大幅下降。