LLM 潜在空间中的偏差方向捕捉的是置信度，而非公平性
Latent space bias directions in LLMs capture confidence, not fairness
精选理由
揭示所谓去偏向量主要降低模型信心、促使其弃答，提醒研究者谨慎解读偏见指标改善。
AI 摘要
arXiv:2610.08559v1 公告类型：交叉收录 摘要：激活引导作为一种轻量级的大语言模型推理时去偏技术，日益受到关注。然而，既有研究指出，引导向量的泛化能力较差，会对模型性能产生非预期影响，且迁移到新数据集的能力有限。为阐明其表现不一致的原因，我们分析了激活引导所使用的去偏方向究竟编码了什么。我们研究了通过对比反偏差提示与有偏差提示的激活所获得的线性去偏方向，并在偏差基准和通用知识基准上评估了将其用作引导干预的效果。我们发现，这一方向主要受模型置信度支配，在激活空间中从高概率词元区域指向低概率词元区域，而非编码了有意义的模型偏差表征。沿此方向进行引导确实降低了测得的偏差，但这是模型置信度下降的结果：在问答基准上，我们发现这种引导促使模型放弃回答，而公平性指标的改善只是其附带效果。我们的实验表明，模型置信度是隐藏空间中区分有偏差提示与反偏差提示的主导因素，这意味着很难分离出与模型置信度解耦的线性偏差表征，因此应谨慎解读基于引导的去偏结果。简而言之，引导看似减少了偏差，但并非通过纠正模型的内在偏好，而是通过降低模型的置信度来实现，即使在与偏差无关的任务上也是如此。