先评估再改进的学习：面向自动研究代理的自动评分标准归纳

自主科学研究代理正越来越多地应用于端到端的科学工作流，包括文献综述、数据分析、实验和报告生成。然而，开放式研究任务往往并未明确指定完成任务所需的分析、方法和成功标准。因此，代理可能会遗漏重要分析、使用不恰当的方法，或得出缺乏充分证据支持的结论。为了解决这一问题，我们提出 AutoSciRub，这是一个以评估为先的框架，它在研究执行之前先归纳出一个任务特定、可执行的评分标准，并利用该标准来指导执行、进行准则级验证以及迭代修订。AutoSciRub 将一个规定不明确的指令分解为原子级科学目标，将其锚定到相关文献和任务可见数据中，并综合生成具体、可操作且可验证的准则。由此得到的评分标准将隐含的实验与证据要求显式化，为实验和分析提供指导。在修订过程中，基于评分标准的验证会识别未满足的准则，并支持对研究报告及其支撑工件进行有针对性的改进。在 ResearchClawBench 上，AutoSciRub 在所有测试配置中都持续带来提升：在固定的 Codex harness 下，三个基础 LLM 的平均提升为 2.08 分；在使用固定 DeepSeek-V4-Flash backbone 的三个 agent harness 上，平均提升为 2.95 分。在 AstaBench E2E Discovery 随机抽样的 20 个任务子集上，AutoSciRub 在三个 agent harness 上进一步实现了平均 16.8 分的提升，同时保持或增加了成功完成的任务数量。这些结果表明，以评估为先的引导为自主科学研究提供了一种有效且可泛化的控制机制（Code: https://github.com/zjunlp/AutoSciRub）。