arXiv cs.AI精选82

Launder-Bench:能否检测仓库级智能体代码洗白?

Launder-Bench: Can Repository-Level Agentic Code Laundering Be Detected?

· 1天前

精选理由

提出首个仓库级代码溯源基准,揭示现有方法难以区分相似代码与真实来源,为检测 AI 改写抄袭提供评测工具。

AI 摘要

编码智能体如今能够在保持经测试验证的行为不变的同时,重写整个仓库规模的代码库,为抄袭检测、许可证审计和软件溯源带来了新的挑战。我们探究此类重写后的代码是否仍能追溯到其来源。现有代码克隆基准侧重于代码片段和有限范围的编辑,而仓库转换基准评估的是功能正确性,而非来源。此外,当独立实现也可能具有相近的相似度时,将最相似的来源排在首位并不能确立派生关系。我们定义了仓库级智能体代码洗白,并推出 Launder-Bench。据我们所知,这是首个面向智能体重写场景下代码溯源的仓库级基准,基于 282 个真实世界的仓库构建。该基准采用隐藏源代码的重建协议,对源代码行为进行分解,重建模块和仓库结构,并仅保留通过基于执行的验证的重写结果。我们在两个互补的设置中评估同一个溯源问题:Launder-Bench-Pair 包含 1,128 个成对实例,用于判断两个仓库是否具有共同来源;Launder-Bench-Attr 包含 229 个来源归因实例,用于判断哪个候选仓库是来源,并允许在证据不足时弃答。通过测量同领域的独立仓库,我们确定了在没有共同来源的情况下可能出现多大的相似度,并为不同检测器提供专属参考区间。现有方法在 Launder-Bench 上的表现仍远未达到饱和:最强的静态方法在成对检测中的 AUROC 仅为 0.66;而仓库编码器虽能在最多 22% 的归因查询中将真实来源排在首位,却仅在 1–2% 的查询中获得经校准的归因得分。这些结果揭示了相对代码相似度与针对特定来源的溯源证据之间存在系统性差距,为智能体重写场景下的溯源检测提供了可复现的评估目标。

查看原文(arXiv cs.AI)