NeutronGym：面向 LLM 智能体的物理评分中子仪器设计

设计科学仪器可以检验语言模型智能体是否真正会做物理，而不是只会回忆知识，前提是评分标准不容争辩。我们推出 NeutronGym，据我们所知，这是首个用于中子仪器设计的可执行环境：智能体通过验证工具构建仪器，McStas 对其构建结果进行射线追踪，并通过分级评分阶梯评估语法、运行时、结构和科学性，整个过程不依赖 LLM 评审。程序化系列为固定布局提供无限多个实例，智能体必须设定其中的设计参数，并面对留出的参数区间；一个经过精选的子集 McStasBench 则加入了来自已发表仪器的16项任务，并配备记忆探测和沙箱。七个模型最多只能复现其中7项，没有一个能检索出参考答案，也没有一个达到改进目标。该环境还可用于训练。利用其奖励进行强化学习后，Qwen3-8B 在某个目标源自隐藏设计的系列的留出实例上的成功率从11%提升至77%（使用第二个随机种子时为69%），超过了未经训练的 Qwen3-32B；在每个系列使用一个随机种子的情况下，这一训练方案在另外三个设有门槛的系列上也同样有效。分析揭示了这种提升的实质。若去掉评分阶梯提供的部分得分，性能会下降60个百分点。仅凭奖励进行训练时，只有在获得闭式物理公式的情况下，训练模型才能在智能体的仿真预算内达到经典优化器的水平（77% 对81%；在这一规模下两者差距并不显著），而前沿模型仍能解决98%至99%的任务。要获得可信的结果，我们不得不放弃四种连无模型基线都能解决的任务设计，并发布了发现这些问题的探测器。