SCIRIGOR：评估开放式科学分析，而不仅仅是最终得分

科学编码代理会生成相互依赖的代码、结果、图表和论断，但仅评估最终输出无法确定其结论是否得到科学支持。我们提出了以证据为基础的多模态科学分析，要求代理生成可执行的分析，并提出由同一次运行产生的结果和可视化所支持的论断。我们介绍了 SciRIGOR，这是一个评估框架和基准，包含来自六个领域、17个子领域的科学文章中的100个案例。该框架重建带类型的证据图，将工件保真度与关系有效性分离，并为完整的论断—支持路径评分，同时定位最早出现不支持关系的位置。基于来源的替代路径能够容纳科学上等价的分析和可视化。我们评估了11种代理/模型配置。在完整基准测试中，论断与忠实结果和不忠实结果的一致率几乎相同（91.8% 对 91.0%）。然而，没有任何系统在软证据链得分上超过62.6%，或在严格的完整链成功率上超过18.0%。这些发现表明，内部一致性并不能证明科学正确性：评估必须验证从数据到论断的完整路径上的支持关系。