使用无标签子空间隔离语言模型的判断能力

arXiv:2610.21256v1 发布类型：新 摘要：语言模型经常被要求进行判断：一个给定的答案是否正确，一条陈述是否能从另一条陈述中逻辑推出，或者一条响应是否安全。然而，即使输入相同，改变规定应如何表达判断的指令，也可能使最终答案变得不那么可靠。我们探讨这是否反映了内部判断发生变化，还是表达判断时出现了失误。通过比较相同输入在不同指令下对应的隐状态向量，我们发现，它们之间的差异集中在一个低维表达子空间中。我们无需基准数据集标签即可识别出这一子空间，并在线性预测器中移除该子空间的贡献，从而得到隔离后的判断。在正确性、蕴含和安全性这三类任务中，即使模型的最终答案和原始预测器性能下降，隔离后的判断在未用于识别该子空间的指令下仍保持可靠。当对判断问题进行否定时，对于蕴含任务，隔离使预测器的 AUROC 从 0.504 提升至 0.825；对于安全性任务，则从 0.480 提升至 0.891。我们还发现，在表达子空间开始干扰预测器之前，判断已经能够在更早的层中被读出。总体而言，这些结果提供了一种将判断与表达分离的方法，并能在模型最终答案不可靠时恢复其内部判断。