PerSo：探究真实世界说服场景中 LLMs 社会智能的不同方面
PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
精选理由
PerSo以真实劝说对话评测大模型的读心与社交行动能力，揭示其优势与短板。
AI 摘要
对于涉及人机交互和多智能体环境的应用而言，理解大语言模型（LLMs）的社会智能日益重要。社会智能包含两个方面：认知智能，即推断他人心理状态的能力；行为智能，即基于这些推断选择适当的社会行为以实现社会目标的能力。说服提供了一个让这两个方面同时发挥作用的天然测试场景，但以往的基准通常使用合成场景对二者进行孤立评估。我们提出 PerSo，这是一个基于 Reddit 的 ChangeMyView 社区中真实世界说服对话、评估社会智能这两个方面的基准。该基准采用 LLM 参与其中的流程构建评估任务，并通过人工标注进行验证。我们对多种 LLMs 的评估表明，性能总体上随模型规模增大而提升，但在不同维度上存在差异。最强的 LLM 在行为任务上的表现略微超过了观测到的人类最佳表现，而在认知任务上，表现最好的人类参与者仍然领先。