arXiv cs.AI精选77

“真”与“假”加起来等于一吗?LLM 智能体观点模拟中的互补一致性

Do "True" and "False" Add Up to One? Complement Consistency in LLM-Agent Opinion Simulations

· 2天前

精选理由

揭示小型语言模型在互补表述下概率不一致,提醒研究者检验表述偏差,避免误读模拟中的信念演化。

AI 摘要

在 LLM 智能体观点模拟中,每个智能体在看到自己先前给出的概率及其邻居报告的概率后,会报告某一论断为真的概率,这个数值随后成为它在下一轮的状态。如果这个数值描述的是智能体的立场,而不是呈现给它的句子,那么将论断改写为其否定形式,并将每个概率 p 替换为 1 - p,就应当得到互补的答案,因此两次报告的概率之和应为一。我们使用三个小型开放模型对此进行检验:Qwen3-4B、Llama-3.2-3B 和 Gemma-3-4B。在从运行中的网络模拟提取的 2,304 个智能体状态上,Qwen 成对报告的概率之和平均为 1.18;在来自 AVeriTeC 的 48 条真实事实核查论断上,其概率之和同样超过一。一个包含 24 个世界、每个世界恰有两种可能结果的受控基准测试表明,三个模型都存在同样的问题。这种偏差是同义改写所引起变化的两到十倍,而且在重复采样、不同同伴群体规模及不同报告强度下持续存在。当这些报告被反馈给两个从互补状态出发的群体时,两个群体并未保持镜像关系:对每个模型而言,五轮之后两个群体的差异均大于零。将每个答案与其配对答案的补值取平均,可以通过构造恢复一致性,并降低在两种措辞上平均计算的 Brier 损失;但在最后一轮,只有一个模型采用该方法后的表现优于两种原始措辞中表现较好的那一种。在同一模型上开展的一项调度方式与目标选择方式的交叉实验显示,两者存在较小且稳定的交互效应,因为这类扫描实验保持论断措辞不变。因此,在将模拟概率解读为信念之前,需要单独检验改写措辞后的一致性。

查看原文(arXiv cs.AI)