直到证据表明可以结案：教会 LLM 调查员何时结案

事故、缺陷和停运调查都要做出一个普通问答从未面对的决定：截至目前收集到的证据是否足以结案。我们研究 LLM 调查员如何做出这一决定：它们会从案件档案中请求证据，修正假设，并在结论有其所读内容支撑时结案，或者保持案件开放并说明缺少哪些信息。这种判断能力并非模型自然具备：未经训练的 9B 模型在 97% 的回答中夸大其证据，而某个在 84% 的案件中识别出正确原因的前沿模型，仍会在 91% 的案件中夸大证据，并对官方结论为“原因未确定”的 41 个案件中的 17 个结案。对这种能力进行测量也并不简单：案件来源在很大程度上预示了其标签，仅读取来源的规则在我们的测试案件上就达到了 83.0% 的平衡准确率。因此，我们通过三项测试评估结案表现：结案准确率，并将其与该规则进行比较，同时分别报告各来源内的准确率；证据依赖性，即移除结论依据后检查模型是否停止结案；以及结论和信息缺口质量，即通过评审清单判断模型断言了什么、又指出缺少什么。我们构建了 Nautil：包含来自航空、铁路、海事、化学品安全和车辆缺陷报告以及生产服务器事故的 731 个经审计案件，并配有教师轨迹、分布外测试集和反事实证据版本。在这些轨迹上对 9B 模型进行微调后，其结案行为开始遵循证据：相较于匹配的对照组，移除结论依据使其结案率降低 26 个百分点，夸大证据的比例从 97% 降至 35%，正确且不过度夸大的结论比例从 3% 升至 43%。随后，仅奖励结案决策的强化学习将平衡准确率从 69.2 提升至 83.3，与教师模型相当；来源内准确率则从 60.4 提升至 74.1，但证据依赖性有所下降。