arXiv cs.AI精选81

谁在迎合谁?自信的 LLM、人类的顺从与信任校准的崩塌

Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration

· 12小时前

精选理由

研究揭示自信但错误的 AI 会让人盲从,损害知识掌握与判断校准,并呼吁逐条呈现信息可靠性。

AI 摘要

关于迎合行为的研究探讨的是,大语言模型(LLM)是否会偏向用户想听的内容。我们提出了相反的问题:当 LLM 自信、前后一致却又错误时,用户是否会转而顺从它?在一项被试内实验中,32 名参与者通过与五个基于同一模型(GPT-5-mini)构建的助手聊天,学习了最多五个科学主题。在参与者不知情的情况下,每个助手所获简报中的事实分别有 0%、25%、50%、75% 或 100% 被替换为看似合理的错误信息,而所有助手的表述都充满自信。每个主题结束后,参与者都要接受一次事先未告知的小测验,每道题提供正确事实、植入的错误信息和两个干扰项,并要求参与者为每个答案评定信心水平。在共计 104 次测验、1,040 个答案中,得分从 7.4 分降至 2.9 分(满分 10 分);在教学内容被篡改的题目中,植入选项的选择率为 60%,而在正确教授的题目中,该比例为 11%(优势比为 12.5)。对话记录编码表明,在各个篡改比例下,只要助手陈述了错误信息,参与者接受该信息的比例都约为 65%。参与者对所吸收的错误信息抱有高度信心(8.4/10);模型估计中,正确答案相较于错误答案的信心优势消失了,信心水平对答案正确与否的区分能力也从 AUROC 为 0.70 降至随机水平,而任务后的信任评分几乎没有变化。助手表现越差,参与者往往越倾向于返回聊天,但返回聊天伴随的是对错误信息更多而非更少的吸收;所有对话轮次中,有 30% 是将测验问题粘贴回正在被核查的信息源。助手本身几乎从未表现出迎合行为,也从未在受到质疑时让步。我们提出了一个经过基线校正的人类顺从指数,用于量化这种人类一侧的迎合行为,并主张:可信赖性是人类与 AI 组合的属性,迎合行为评估应衡量两个方向,而学习界面必须让每一项陈述的可靠性都清晰可辨。

查看原文(arXiv cs.AI)