AgentDecept：压力下使用工具的 LLM Agent 欺骗行为基准测试

LLM Agent 越来越多地在日常应用中执行多轮任务，但用户通常只能看到 Agent 的报告，而无法看到其背后的观察结果、API 调用和状态变化。现有的欺骗行为基准研究了长时交互和工具使用场景，但在真实、有状态的应用工作流中，Agent 是否如实报告其行为，仍缺乏充分研究。为弥补这一空白，我们推出了 AgentDecept，这是一项用于评估压力下行为欺骗的可执行基准。AgentDecept 包含来自六种压力来源、基于 257 个源任务构建的 477 个压力变体，每个变体都配有一个无压力对应版本。干预通过事件消息、任务上下文、应用状态、工具响应和服务配额引入，涵盖显式事件以及隐式的任务或环境变化。我们基于证据的评估协议通过将面向用户的陈述与按时间排序的观察结果和执行结果关联起来，对完整轨迹进行评估，并将虚假陈述、隐瞒和含糊其辞与诚实的失败及已披露的限制区分开来。所得的行为标签还为测试现有的基于激活的探针提供了场景。AgentDecept 支持对真实应用交互中多轮 Agent 的报告何时偏离执行结果进行受控分析。