一阶上下文 Shapley：面向 LLM 对齐与评估的可扩展数据审计

arXiv:2607.22766v2 公告类型：替换 摘要：大语言模型的后训练对齐日益受到数据质量的制约：偏好与指令微调语料中不断积累标签噪声、安全性偏好倒置和标注者间的矛盾，这些问题无法通过去重发现，而使用 LLM 对整个语料库进行评判的成本又过高。尽管 Data Shapley 提供了具有理论依据的价值评估框架，但精确计算需要进行难以承受的重新训练，而 KNN-Shapley 等基于嵌入的替代方法无法区分高效用与低效用示例（与生成效用的相关性为 $\rho = 0.0003$）。我们提出了一种仅需推理的价值评估流程，在语义 $k$-NN 邻域上构建上下文合作博弈，无需更新参数，仅通过 $O(k)$ 次前向传播即可计算其一阶项；该方法在全部目标上均与多示例蒙特卡洛上下文 Shapley 呈正相关，而计算量仅为后者的 1/19。通过将成对的对数似然变化投影到有向影响图上，我们用三个信号刻画每条记录：出向示范优势、入向受示范优势，以及用于保护稀有提示的拓扑独特性得分。预筛选将 LLM 双模型仲裁的范围限制在 1%–5% 的记录内，同时在 HelpSteer2 和 Anthropic HH-RLHF 上分别实现了 4.5 倍和 2.2 倍的已确认错误富集率，并捕获了零样本似然和间隔筛选遗漏的矛盾。在 DPO 训练期间，已确认存在矛盾的记录比干净记录更频繁地与更新方向相悖（在 LoRA 梯度中占比分别为 56.7% 和 37.0%），且其奖励准确率始终低于随机水平。最后，对 HH-RLHF 基准的审计揭示了标签错误：对于这些错误，对齐模型与人工标签不一致的比例达到 73%–83%；在修复或过滤被标记的记录后重新进行 DPO 训练，即使不使用 LLM 仲裁，也能使整体奖励准确率提高 0.5–0.6 个百分点，并使已修复的偏好倒置样本上的奖励准确率提高 3.1–3.5 个百分点。