面向 LLM 助手的可验证社会推理

LLM 助手广泛用于日常社交建议，但在此类咨询场景中评估其社会推理能力仍然具有挑战性，因为：（i）需要构建这样的环境：助手从用户的主观叙述中了解社交情境；（ii）他人的意图等社会属性通常缺乏可验证的真实依据。为应对这些挑战，我们提出了 Fuse，一种用于研究用户介导的社会推理的多智能体模拟框架。在 Fuse 中，一个具有隐藏动机的目标智能体会与其他智能体互动，其中包括一个代表用户的智能体；该用户随后向被评估的助手进行咨询，以推断目标智能体的动机，从而通过构造方式提供可验证的真实依据。我们通过一项包含 2.4 万条标注的人类研究验证了模拟的保真度。我们将 Fuse 应用于 12 个 LLM，并通过系统地分离关键因素展示其分析价值，结果表明：（i）用户介导会加剧社会推理本身的难度；（ii）LLM 对带有偏见的用户表述表现出系统性的敏感性；（iii）模型可能需要比人类更多的细节才能做出正确预测；（iv）尽管更长的对话提供了提出澄清问题的机会，但并不总能提升性能。我们已开源 Fuse 以及一个包含 2.1 万个示例的数据集。