知道何时不该回答：潜在信息不充分信号的跨领域与多轮泛化
Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals
精选理由
研究揭示模型何时缺少作答信息及其局限，为设计更可靠的追问与对话系统提供实证依据。
AI 摘要
arXiv:2610.08413v1 公告类型：交叉发布 摘要：大型语言模型经常回答依据给定信息无法作答的问题，而在对话中，它们也会在信息尚不充分时就作答。无法作答性可以从隐藏状态中通过线性方法解码，但尚不清楚其哪些形式共享表征，也不清楚这一信号在对话中是否有用。我们提出了一个带有轮次标签的多轮基准（423 段对话，1,661 个带标签的轮次状态），以及一个配备模拟用户的评估框架，该模拟用户会回答澄清问题。我们结合六个数据集和六个开放权重 LLM，使用该基准与框架测试无法作答性探针的泛化范围。在无法作答原因相同的数据集之间，探针能够稳健迁移：数学问题中的信息缺失（AUROC 0.77–0.97），以及文本段落中的信息缺失（SQuAD 2.0<->MuSiQue，0.77–0.90）。针对认知层面“已知的未知”的探针向数学任务迁移的效果较差，但在控制词汇因素后，这种分离有所减弱，并且会随层和坐标系而变化，因此尚无定论。单轮探针无法以零样本方式检测对话何时变得可以作答；在相同结构内训练的探针能够检测这一变化，但效果并不优于词袋分类器。基于校准后探针的门控机制无需对模型进行微调，就能在信息不充分的轮次上以远高于随机水平的精确率触发，其最终任务成功率与使用真实标签的门控机制相差不超过 0.08。然而，在四个模型上，该机制均未能稳定优于原始生成或通过提示进行的信息整合。剩余差距主要在于模型如何利用澄清信息，而非检测能力。