使用调查报告的党派接触验证 LLM 生成的政治网络

大型语言模型（LLM）越来越多地用于社会科学研究中的人类行为模拟，包括决策、互动和社会关系。然而，在网络形成任务中，现有评估通常侧重于网络的总体属性，而具有合理结构属性的网络仍可能无法再现个体的社会和政治环境。在本研究中，我们使用从具有全国代表性的 ANES 2020--2022 Social Media Study 中抽样的人物设定生成基于 LLM 的政治网络，并将受访者在调查中报告的党派接触情况作为衡量相应人物设定所处政治环境的实证基准。我们首先刻画生成网络的结构属性和政治同质性，然后将自我层面的党派接触情况与调查结果进行比较。我们发现，生成网络的结构和政治同质性会因实验配置而异。更重要的是，在将生成的党派接触情况与调查结果进行比较时，部分模型生成的民主党和共和党自我之间的分离程度高于调查报告，即同党接触更多、跨党接触更少；而另一些模型则主要低估了各自我群体中的共和党接触情况。此外，政治同质性相似的网络仍可能在相同人物设定周围生成不同的党派环境，这种情况也出现在结构属性合理的网络之间。最后，生成网络呈现出群体特异性的误差：对于特定社会群体，它们可能低估或高估与民主党人或共和党人的接触。这些发现表明，仅通过总体结果评估基于 LLM 的社会模拟，可能会掩盖产生这些结果的局部环境中的误差，凸显了同时在总体和个体层面进行验证的重要性。