LLM 智能体能解决服务故障吗？信息不对称下多轮投诉处理的模拟
Can LLM Agents Resolve Service Failures? Simulating Multi-Turn Complaint Handling under Information Asymmetry
精选理由
深度 92 / 新颖度 88，来自 arXiv cs.AI。
AI 摘要
LLM 智能体已广泛应用于服务聊天机器人，用于遵循规则的支持和信息获取，但情绪要求较高的投诉处理仍在很大程度上依赖人工客服。我们推出了 ServiceBench，据我们所知，这是首个专门针对投诉处理的基准，涵盖五个服务行业中的 184 个投诉类别和 2,500 个场景。我们提出了非对称渐进式投诉模拟（APCS），用于模拟真实的投诉处理过程，并结合基于公正的评估框架开展评测。实验结果表明，即使是能力较强的 LLM 智能体，也难以有效处理投诉。它们缺乏主动收集信息以及有策略地引导对话走向解决方案的能力，往往会过早地采取赔偿措施。我们进一步表明，采用 SFT 和 DPO 进行有针对性的后训练能够显著提升这些能力，使较小的模型在多项结果指标上达到或超过规模大得多的模型。