arXiv cs.AI精选76

预测错误,正确答案:从塌陷的 LLM 序列得分中恢复证据

Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores

· 43天前

精选理由

揭示LLM表面失分可修复,帮助更准评估真实推理能力

AI 摘要

当大型语言模型在推理任务中失败时,通常会认为它缺乏相应能力。然而,这将真正缺乏推理能力与后期输出瓶颈混为一谈。我们在多种推理基准上观察到一种一致的读出差距:即使由于结构性偏差导致原生序列打分完全塌陷,隐藏状态探针仍能成功解码出正确答案。为了测试这种塌陷后实例特定逻辑是否仍然存在,我们引入了一种诊断流程,使用一种最小化、无目标标签的加性校正。仅用两个参数、在少至 25 个无标签样本上拟合,就能为 Qwen3.5 模型恢复 9--34 个准确率点,并且可成功迁移到 OLMo-2-1B 和 Llama-3.1-8B。关键的是,这些恢复后的决策在仅靠简单词汇重叠无法解决的困难样本上仍然成立,并显著优于保持计数的置换基线。我们的结果表明,许多表面上的零样本推理缺陷其实是表达失败,掩盖了完整的内部逻辑,这提示我们应对基准评测作更狭义的解读。

查看原文(arXiv cs.AI)