RITE：评估电商智能体系统对工具静默错误的端到端韧性

工具调用型 LLM 智能体越来越多地通过多步工具交互来回答电商查询。工具调用的预期输出可能在智能体开发阶段与执行阶段之间发生变化，从而在没有明确失败信号的情况下返回一个看似合理但不正确的值。这些静默错误可能通过后续决策传播，最终影响答案。为研究智能体在这一端到端过程中的韧性，我们提出 Silent-error Resilience Task，这是一项交互式任务，用于评估在静默错误破坏中间状态后，智能体能否完成原始查询。我们引入了 RITE，这是一个基于人工编写的工业工作流和源自生产日志的输入构建的基准。为实现受控且可复现的评估，我们使用语义错误分类体系，在固定的工作流前缀中注入错误，冻结记录的工具行为，并允许智能体自由继续执行。该基准涵盖九个电商工作流中的 167 个匹配单元，生成了 501 个静默错误、正确值和显式失败实例。在对 10 个近期 LLM 的评估中，静默错误使任务成功率大致降低一半，并且始终比显式失败更难处理。识别错误、利用可用的验证路径，以及整合由此产生的证据，构成了逐步出现的瓶颈。我们还提出一种轻量级 State Checker 作为干预措施，用于检验能否提升韧性。