ArrivalBench：智能体生成的数据流水线单次运行正确，却在时间推移下出错

arXiv:2610.02363v1 公告类型：新稿 摘要：针对智能体生成的数据处理工作的基准，通过在固定快照上运行一次来评判流水线。ArrivalBench 则在具有对抗性但可重放的数据交付时序（记录延迟、重复、乱序及重试）下，重新执行智能体留下的流水线，并要求其最终状态与对完整日志进行批量重算的结果一致。由于判定基准通过重算而非分类得出，表数据错误与崩溃被视为两种不同的判定结果：崩溃能被团队已有的监控发现，而表数据错误则不能。在我们构建的 40 项任务上，我们重新实现的单次执行评估方法将 11 个模型生成的流水线中 86–100% 判定为合格；但重新执行这些相同产物后发现，已获合格判定的流水线中有 7.0–79.2% 会悄无声息地产生错误。这一差距并非由修复循环造成：对于同一模型和同一任务，针对快照测试修复过的流水线，其重放失败频率与首次就通过测试的流水线大致相同。在所有模型中，幂等性隐患导致失败的频率都高于顺序隐患。将错误答案与崩溃区分开，也会改变对干预效果的解读：一条隐患警告将某个模型的静默失败率从 48.2% 降至 10.5%，同时却将其崩溃率从 9.0% 提高至 37.0%，因此总体失败率仅从 51.0% 降至 44.0%。所有 11 个实验组都经过独立重跑，各项比率的变化最多为 5.9 个百分点。