你被说服了吗?一种用于检测 ChangeMyView 讨论中说服力的神经符号论证推理方法
Have You Been Convinced? A Neuro-symbolic Argumentation Reasoning Approach to Detecting Persuasiveness in ChangeMyView Discussions
精选理由
提出神经符号方法识别讨论说服力,并开源数据集与框架助力论证分析研究。
AI 摘要
论证结构体现了单个论证如何在话语中相互作用。然而,利用这些结构推断有意义的知识仍然具有挑战性,因为这需要对论证影响如何在结构中传播进行形式化表示。我们提出 Neuro-symbolic Argumentation Reasoning System(NARS),用于直接从在线讨论中检测说服力。其神经组件采用检索增强的迭代式 LLM 推理来提取双极论证结构,而符号组件则应用渐进式论证语义,在结构中传播论证影响。我们使用 Webis-CMV-20 语料库,构建了 CMV2BAS 数据集。该数据集包含经过 LLM 推导的双极论证结构标注以及 delta 事件标签(观点改变或未改变)的长篇、多线程 ChangeMyView 讨论。我们研究了渐进式论证语义能否有效检测说服力、将其与论证质量和基于图的中心性相结合是否能够提升性能,以及在现代 LLM 已经具备相关能力的情况下,符号推理是否仍然必要。在最佳配置下,NARS 达到 F1=0.57 和 AUC=0.56,优于零样本 Qwen3.6:27B 和 GPT-oss:20B。我们发现,以支持为主导的讨论以及较长的论证链是限制攻击影响传播的主要失败模式。本研究展示了在嘈杂的真实世界话语上实施形式化渐进式论证语义、开展可扩展的宏观层面说服力分析的可行性,同时指出了神经符号论证推理未来研究面临的关键挑战和发展方向。我们公开发布 CMV2BAS 数据集和 NARS 框架,供公众使用。