TRACE：使用合成奖励训练因果探索推理智能体

带有可验证奖励的强化学习（RLVR）推动了语言模型在数学和代码等领域的推理能力发展，因为这些领域的客观答案易于验证。复杂数据上的诊断推理则不具备这一优势：确定异常的真正原因通常需要成本高昂的专家调查，而且事后也可能仍然存在歧义。我们探讨能否通过工程手段利用这种验证不对称性。我们抽样一个干预，将其注入受控模拟器，并生成该干预会产生的观测结果。隐藏的干预提供了预言机标签和客观奖励，而智能体仍必须调查嘈杂、混杂且分散的证据。 我们在 TRACE 中实现了这一方法。TRACE 是一个数字广告诊断环境，包含 12 种根本原因以及细粒度的细分归因。智能体使用 Python 和 SQL 调查每个回合，并必须识别根本原因，以及在适用时确定受影响的细分归属。在一个留出的 235 回合测试集上，表现最强的提示基线 Claude Opus 5 达到 0.686 的 FullAttr@1。监督微调将 Qwen3.5-35B-A3B 的得分从 0.159 提升至 0.637，随后使用合成奖励进行强化学习，得分进一步达到 0.757，超过了所有评估的提示基线，包括前沿闭源模型和经过提示的 Qwen3.5-122B-A10B 模型。所得策略使用的工具调用次数也显著少于经过提示的 35B 基础模型。这些结果表明，能否获得可扩展且客观的训练信号，可能比模型规模本身更为关键。更广泛地说，基于模拟的验证可以使原本存在歧义的诊断推理任务适用于可扩展的强化学习。