IdeaLens：检测长篇写作中的 AI 创意

现代 AI 检测器能够识别文字由谁写成，但围绕 AI 使用的新兴政策越来越取决于另一个问题：创意由谁提出？我们推出 IdeaLens，这是一种检测器，用于识别文档中的创意源自人类还是 AI（创意来源），而不论文字由谁撰写。为了让 IdeaLens 专注于创意而非行文，我们将文档表示为大纲：由若干条目组成的列表，每个条目将话语角色与对内容的简短释义配对，从而最大限度地减少其与原始文本在词语层面的重叠。我们使用带有 Pangram（一种文本来源检测器）银标注的 100 万篇 FineWeb 文档训练 IdeaLens。由于大纲在很大程度上去除了表层信息，模型主要必须通过创意来拟合这些标签。在一项受控研究中，随着模型依据越来越详细的人类计划进行写作，IdeaLens 的 AI 标记率从 95% 降至 7%，而 Pangram 4 仍有 92% 的标记率；对于源自 AI 的计划，IdeaLens 的标记率则保持在 96% 以上。相反，在一个新建的数据集中，50 篇故事均由人类作者依据 AI 生成的计划撰写，IdeaLens 将其中 68% 的故事标记为 AI 生成，而 Pangram 4 的比例为 8%。在涵盖 19 个现有检测基准的综合测试套件上，我们表明，IdeaLens 在较低误报率下仍能保持较高的检测率，这说明创意本身提供了强大的判别信号，并且其性能在不同领域、格式和语言中都保持稳定。最后，我们分析了 IdeaLens 的 9 万条预测结果，以刻画人类与 AI 在构思方面的系统性差异。我们发布模型和带标注的数据集，以促进未来关于创意来源检测的研究。