正面、反面与 AI 失误：LLMs、随机性与人类判断

arXiv:2406.00092v2 公告类型：replace-cross 摘要：随机性是人类认知的核心，也存在于许多部署大型语言模型的应用中；然而，概率式 token 生成并不意味着 LLMs 能够生成无偏的随机序列。我们采用经典的行为科学范式——模拟抛硬币——研究当代 LLMs 如何生成二元随机序列。我们从单次抛掷、20 次抛掷序列、n-gram 统计、连续重复长度、交替率以及下一次抛掷的可预测性等方面，将模型输出与真正的 Bernoulli 基线以及先前研究中的人类数据进行比较。我们发现，LLMs 重现了若干典型的人类随机性偏差，包括过度交替、排斥长串重复以及首次抛掷偏差，但它们往往会放大这些偏差，或引入模型特有的失真。提高 temperature 可以减少某些僵化模式，但无法消除系统性结构。我们进一步通过提示框架实验、续写测试、语料库搜索和残差流探测研究过度交替现象，发现证据表明，这种偏差无法仅由直接记忆或 tokenization 解释。这些结果表明，LLMs 是不可靠的随机性生成器，也是并不完美的人类随机性判断模拟器；对于需要随机性、公平采样或行为模拟的应用而言，这一结论具有重要意义。