足够知道,却不足以行动:伪造证据使 LLM agents 对不可知之事做出明确判断
Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable
精选理由
揭示LLM会被证据包装诱导盲目决策,并提供可训练的防误判思路。
AI 摘要
一个被展示专业外观市场面板的 LLM agent,对一个可被证明不可预测的问题给出方向性判断的频率,远高于只问该问题本身时:在 12 个前沿模型中,随着证据不断增强,做出判断的比例从 6.5% 升至 54.0%。即使面板上的每一个数字都是编造的,它也同样容易做出判断:把整个展示都伪造出来,使模型看到的除了问题本身之外没有任何真实内容,仍会把做出判断的比例从 24.5% 提升到 36.8%,这一结果在统计上与真实市场数据产生的 37.6% 没有显著差异。真正触发自信行动的不是信息,而是其包装所带来的权威感。这个失败很窄,而且可以定位。能力不足并不是原因:在与这些面板配套的、可回答的匹配问题上,同样的模型几乎总能作答,准确率接近完美。信念也不是原因——在会让行动幅度变化 48 个百分点的梯度上,模型给出的概率几乎不变,而且得分还低于气候学基线。缺乏判断力也不是原因:在行动前先让模型判断一个问题是否可知时,模型有 90% 的时候把它判为本质不可知,而随后只在其中 0.4% 的情况下做出判断。失败的是“行动/不行动”这道门槛,而且这种效应集中在少数模型上,而非普遍存在。由于这道门槛是可分离的,它可以被训练。对一个 3B 模型在 540 个合成案例上进行监督微调——这些案例主要是骰子、硬币、罐子和计时器——可将原始案例上的判断率降至 0.0%,并迁移到三个未见领域。它并非无往不利:只有当回答格式留有推理空间时,这道门槛才有效;而剥夺这种空间的僵硬格式,会让模型在原本能答对的问题上依然自信却答错。这道门槛既可训练,又对上下文脆弱,部署时这句话的两半都必须兼顾。