评审会翻转吗？从残差流激活预测对位置敏感的 LLM 评审结果
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
精选理由
用模型内部激活提前识别评测中的位置偏差，减少双重判断成本。
AI 摘要
arXiv:2610.07115v1 公告类型：新 摘要：候选回答的呈现顺序可能改变 LLM 评审的判定结果。检测这种位置翻转通常需要以两种顺序分别评审每一对回答，这会使评审次数翻倍。我们研究了能否利用初始判定前即时记录的残差流激活来预测翻转。我们在 534 个 JudgeBench 成对样本上，对三个 Qwen3 评审模型和 Llama-3.1-8B 进行嵌套分组交叉验证，以评估正则化线性探针。线性探针取得了 .621–.850 的 AUROC，并且比结合口头表达的置信度、判定标签 logits、回答长度以及评审初始选择的基线高出 .062–.113 AUROC。在 JudgeBench 上训练并冻结的线性探针，在 1,802 个 MT-Bench 比较样本上取得了 .685–.853 的 AUROC，且未使用 MT-Bench 进行拟合或重新校准。这些结果表明，判定前激活能够支持对模型易受候选顺序影响程度的预测，并且优于本文评估的非激活预测因素。