ReproBAIT：编程智能体能否构建自己的生物 AI 工具？

大型语言模型越来越擅长利用科学知识和现有计算工具来执行复杂的工作流程。目前，关于它们能否仅凭有限的工具描述重建这些工具，相关信息仍然很少。我们提出了一项名为 ReproBAIT（生物 AI 工具复现）的评估，用于衡量编程智能体在不同信息获取条件下，设计、实现和训练已发表研究中的生物 AI 工具的能力。编程智能体被置于无法访问互联网的安全沙箱中，并获得训练数据、固定的时间和计算资源预算，以及有关待复现工具的有限信息。随后，我们根据复现的生物 AI 工具在留出数据上的表现，使用工具特定的指标对其评分。我们评估了一组复杂程度各异的生物 AI 工具：蛋白质逆折叠工具 ProteinMPNN、全原子生成式扩散工具 RFdiffusion3，以及一款闭源分子设计工具。由于开源工具很可能已被纳入模型的预训练语料，我们建立了一套检测记忆效应的方法。在一系列领先的闭源和开源编程智能体中，我们发现，它们对部分选定工具具有较强的复现能力，但对高度复杂工具的复现能力有限。我们发现了与记忆效应相符的中等强度证据，且不同编程智能体之间存在差异。这些结果表明，工具开发者在公开发布工具相关信息时需要愈加谨慎；基于此类信息重建工具，可能削弱工具的商业价值，或使针对军民两用风险的受控访问策略失效。