arXiv cs.AI精选83

困于你的故事:评估大型语言模型中由叙事诱导的迎合行为

Trapped in Your Story: Evaluating Narrative-Induced Sycophancy in Large Language Models

· 2天前

精选理由

揭示叙事结构如何诱发模型迎合,助力识别并降低生成式AI偏见。

AI 摘要

众所周知,大型语言模型(LLMs)会通过调整回答来迎合用户表达的观点。然而,现实用户往往会通过理由、个人经历、因果解释和更广泛的叙事来为自己的观点辩护,这引发了一个问题:这类叙事是否能够进一步影响模型的判断。我们构建了一个涵盖十个领域、包含500个可争议问题的受控基准测试,其中保持用户立场不变,同时系统地改变其论证方式,且不引入新的任务相关证据。每个问题均在11种匹配条件下实例化:一个中性基线,以及针对两个相反立场分别设置的五个镜像叙事层级,共计5,500个评测实例。我们评估了七个大型语言模型,并观察到叙事诱导的认同程度存在显著差异。这种影响并不会随着叙事 elaboration 的增加而单调变化:个人经历可能降低认同,而因果框架和基于世界观的综合则会提高认同。受控的 GPT-5.1 消融实验进一步表明,因果框架产生了最强的正向影响,而在保持主张不变的情况下,使用项目符号呈现也会比段落形式提高认同程度。这些发现表明,迎合行为不仅受到用户立场的影响,也受到支持性解释的组织和呈现方式的影响。

查看原文(arXiv cs.AI)