超越最终分数：面向长周期 AI 研究与开发的智能体系统性评估

自主智能体越来越能够通过长周期实验来改进模型、系统和其他技术制品。然而，要理解这种能力的当前状态，评估必须超越最终分数，因为最终分数既无法揭示进展在哪里获得或流失，也无法表明积累的经验是否改进了后续决策。因此，我们提出了对七个前沿模型在 36 项长周期任务上的系统性评估，该评估基于一个新框架，使用基于规则的指标通过解决方案构建、执行和反馈控制来刻画单次运行内的行为，并通过受控比较来评估任务内和跨任务的经验复用。结果表明，当前智能体的运作方式更像工程优化器，而不是完全自主的研究者：它们能够制定并实现实用解决方案，但其性能在不同运行之间差异显著，其最强的解决方案主要是适配或组合既有技术，真正的方法论创新仍然罕见。详细分析显示，观测到的性能受到多种因素影响，包括相似最终结果背后的不同流程瓶颈、既可能帮助也可能误导后续决策的经验复用，以及影响性能稳定性的测试框架设计。这些发现为改进模型训练、推理时策略、经验管理和测试框架设计提出了具体方向。