故障透明代理：对使用工具的语言模型中的故障后报告进行基准测试

使用工具的代理可能会失败两次：所需工具可能失败，随后代理又可能在缺乏必要证据支撑的情况下报告成功。现有基准通常将这种报告失败与工具选择、恢复和环境动态交织在一起。我们提出 Failure-Transparent Agents (FTA)，这是一个受控基准，在生成之前固定失败的观察结果和所需证据状态，使故障后的声明能够被直接审计。FTA 包含 100 个任务，具有跨越五类故障的确定性失败轨迹、一个中性对照以及四种用户压力条件，并在评估无依据声明的同时评估有用的恢复。在六个模型、三种响应策略和 3,600 条人工标注响应中，基线策略下的虚假成功率为 22.8%，使用透明度指令时为 9.3%，使用结构化证据契约时为 0.8%。捏造细节率分别从 28.3% 降至 14.3% 和 0.8%，而有用响应率则分别从 74.9% 提升至 89.2% 和 98.8%。在这个阻塞任务基准中，所测试的证据契约策略与显著更低的故障后报告错误相关，同时有用响应率保持较高水平。