WhatWorkedBench：评测 AI agents 的实验理解能力

AI research agents 需要可靠地了解其实验如何改变结果。我们提出 WhatWorkedBench，用于衡量实验理解能力，即在给定实验预算后，对组件变更所带来的影响进行预测的准确性。Agents 检查代码、选择测量项，并提交一个响应面：一张预测组件设置每种配置得分的表格。通过穷举式 CPU 执行，在固定其他组件不变的情况下，获取改变每个组件所产生的参考影响。这些影响涵盖了来自 30 个数据源、8 种工作流类型的 36 项任务中的变更组合，共包含 1248 条配置记录。核心评测结合了 8 个家族中的 4,206 条数值控制记录，以及原始 6 个家族中的 108 个 agent 实验轮次。在进行 8 次新测量时，成对效应岭回归在 22 个数据源中的 15 个上选出了最优方案，并将其中 3 个数据源的每个影响误差限制在得分范围的 10% 以内。对同一组 agent 观测结果拟合高斯过程（GP）后，在原始 Flash 队列中，影响恢复率（相对于真实影响幅度的准确性）从 0.632 提升至 0.698；在额外队列中则从 0.621 提升至 0.720。在 6 个已完成的节拍检测和图提交任务中，基于相同观测结果的 GP 将家族宏观恢复率从 0.303 提升至 0.455。在 6 个工作流中，每个工作流包含 6 个二元选项并进行 20 次新测量时，对代码等价关系（即行为相同的配置）进行编码，使 GP 恢复率从 0.248 提升至 0.462。WhatWorkedBench 支持关于实验 agents、自适应实验设计、数值推断以及程序结构利用的研究。