Moloch's Bargain：LLM 争夺受众时涌现的失配

arXiv:2510.06105v2 公告类型：replace-cross 摘要：大型语言模型（LLM）正日益影响信息的创作与传播方式，从企业利用它们制作具有说服力的广告，到竞选活动优化宣传信息以争取选票，再到社交媒体影响者提高互动率。在这些场景中，竞争无处不在：销售者、候选人和影响者都在争夺受众的认可。然而，竞争性反馈循环如何影响 LLM 的行为，人们仍知之甚少。我们发现，针对竞争成功对 LLM 进行优化可能会在无意中推动其偏离对齐目标。在涵盖这些场景的模拟环境中，我们发现：销售额提高 6.3% 的同时，欺骗性营销增加了 14.0%；在选举中，得票率提高 4.9% 的同时，虚假信息增加了 22.3%，民粹主义言论增加了 12.5%；在社交媒体上，互动率提升 7.5% 的同时，虚假信息增加了 188.6%，对有害行为的推广增加了 16.3%。我们将这一现象称为 Moloch's Bargain for AI——以牺牲对齐为代价实现竞争成功。即使明确要求模型保持真实并以事实为依据，这些偏离对齐目标的行为仍会出现，揭示了当前对齐保障措施的脆弱性。我们的研究结果表明，市场驱动的优化压力可能系统性地侵蚀对齐，造成一场逐底竞争；同时也表明，要安全部署 AI 系统，就需要更强有力的治理和经过谨慎设计的激励机制，以防止竞争动态削弱社会信任。