在使用 LLM 进行民调之前：审议式诊断框架

LLM 能像人类一样推理新信息，还是只会检索缓存的观点？对于硅基抽样而言，这是一个关键问题，因为 LLM 人格化角色能够大规模模拟公众舆论。当前的评估只检验人格化角色是否持有正确的观点——即一个静态快照。然而，舆论研究越来越依赖动态保真度：人格化角色是否会像人类在审议过程中那样，针对新的论点更新信念。目前还没有任何基准测试对此进行检验。我们提出了审议式民调诊断框架，用于比较人类和 LLM 在接受完全相同的信息干预后信念的变化。该框架以审议式民调为基础，能够揭示静态评估无法发现的失败：模型即使能够生成看似合理的党派观点，仍可能错误呈现这些观点会如何变化。我们使用 America in One Room 的数据（526 个人格化角色、72 个问题），将该框架应用于五个前沿模型，发现每个模型都存在失败，而且表现方式各不相同。GPT-5.1 表现出逆转现象：在获得平衡信息后，其人格化角色对 opposing party 变得更加敌视，而人类则相反，敌意有所降低。这种逆转具有选择性（在外群体问题上为 80%，在政策问题上为 26%），并且在不同党派身份之间呈对称分布。Gemini 2.0 Flash、Claude Sonnet 4.5 和 Llama 3.3 70B 表现出过冲：观点变化方向正确，但幅度达到人类的 5—7 倍。DeepSeek V3 则表现出僵化，变化幅度接近于零。针对性的消融实验表明，政策内容会触发这些失败，而且它们与身份有关：GPT-5.1 在外群体问题上发生逆转，但在内群体问题上出现过冲；Gemini 则正好相反。我们将这一特征称为“自我谄媚”：模型遵循其对人格化角色的内部刻板印象，而不是依据所提供的信息进行推理。我们的框架提供了一套具体方案：在信任 LLM 人格化角色模拟信念更新之前，先运行审议式诊断。