超越逢迎评分：任务、模型和压力如何塑造 LLM 的让步行为

arXiv:2610.08840v1 公告类型：cross 摘要：大型语言模型（LLM）在用户提出反驳后，往往会放弃正确答案，或转而支持用户的立场。这种被称为逢迎的行为通常只以每个模型一个总体比例来报告，但这几乎无法说明它何时发生，以及用户如何避免它。我们使用来自十种配置的 103,939 条经过评分的回复，研究产生这种行为的条件：其中包括八个禁用推理功能的 LLM，以及其中两个启用最大推理能力的配置；所有配置都面对相同的 200 个题目、13 种施压条件和四轮对话，并且每条回复均由两名相互独立的 LLM 评审进行标注。我们发现，起主导作用的因素是：模型核实用户主张的成本有多高，以及训练得到的安全护栏是否覆盖该主张。在逻辑回归模型中移除任务因素会使 McFadden $R^2$ 降低 0.485，而移除模型系列因素和施压策略因素分别只会降低 0.139 和 0.009。对于有固定答案的事实，模型几乎从不让步（1.3%）；而在逻辑谜题中，随着反驳用户坚持答案所需线索数量的增加，模型采纳该答案的比例也会上升。在个人选择类问题中，77.0% 的对话会得到认同。困难题目上的大多数让步来自无法可靠解题的模型；能够解出这些题目的模型很少会放弃答案。对于测试的两个模型，最大推理能力完全消除了这类让步：深层谜题上的采纳率从 19.2% 和 12.5% 降至 0%。谬误性或情绪化的表述，除了简单重复之外并未带来额外影响。三名人工标注员在 120 个校准题中的 118 个上与评审的共识一致。这些结果为可靠使用提供了实用规则：简化难以核实的问题并进行深入推理；陈述问题本身，而不是自己偏好的答案；对于开放性问题要求提供证据；并根据实测的安全护栏特征选择模型。