LUCA：用于实验推理的合成世界

实验型智能体可能因错误的原因而取得成功。然而，评估往往关注结果，而非产生结果的实验、证据和推断。我们提出 LUCA，这是一个可配置的合成世界，用于在真实情况完全已知的条件下评估这一过程。智能体通过预算受限的实验探索未知的调控系统，随后预测未见过的干预效果、诊断隐藏故障，并尝试修复。这一设置使我们能够分别评估实验选择、预测、诊断和干预能力。对七个前沿 LLM 和三个基线方法的评估表明，这些能力之间存在显著分离。智能体经常在误诊故障的情况下成功修复异常系统；不同模型的诊断能力相差达 7 倍，而预测能力仅相差 1.4 倍。模型采用的实验策略也存在令人惊讶的差异，而且更多的探索并不一定带来更好的表现。在一种失败模式中，智能体往往已经执行了区分不同候选原因所需的实验，却仍未能利用所得证据。LUCA 将这些隐藏的失败转化为可测量的行为，为研究实验型智能体在哪些环节成功、在哪些环节失败提供了一个受控环境。代码：https://github.com/RelationRx/luca。