通过带任务完整性约束的人设演化揭示 LLM 智能体的鲁棒性弱点

交互式智能体评估通常依赖标准化的、基于 LLM 的用户模拟器，这些模拟器表现出广泛的合作行为，可能忽视多样但现实的用户交互所引发的失败。这会导致对智能体鲁棒性的估计过于乐观，也难以为训练能够跨用户泛化的智能体提供足够的失败信号。现有方法大多依赖预定义的用户行为，可能无法发现特定于智能体或领域的弱点；而面向失败的搜索则可能通过使底层任务失效来降低任务成功率，而不是暴露真正的鲁棒性缺陷。为弥补这一空缺，我们提出 TIPER，一种保持任务完整性的人设演化方法，能够在保持底层任务有效且可解决的同时，自动发现暴露智能体特定鲁棒性弱点的用户策略。TIPER 在任务完整性约束下，通过反思引导的行为变异和按任务进行的 Pareto 选择，演化出持久的用户人设。在四个交互式智能体基准测试中，TIPER 在全部 12 个 GPT-5.4 设置下都取得了更低的留出集 avg@3 分数，观测到的降幅为 5.8 至 33.7 个百分点；在涵盖七个智能体的全部 28 个智能体—领域组合中也同样如此，观测到的降幅中位数为 22.9 个百分点。进一步分析得出了一套从行为到失败的分类体系，将发现的用户行为与反复出现的智能体失败模式联系起来。总体而言，这些结果表明，TIPER 能够对交互式智能体开展更具诊断性的鲁棒性评估，并为未来改进智能体鲁棒性提供有价值的失败分析。代码仓库：https://github.com/UCSB-NLP-Chang/TIPER。