相似模型，失准的胜算：Luce 选择公理在 Chatbot Arena 中何处失效

arXiv:2610.19095v1 公告类型：交叉收录 摘要：Chatbot Arena 使用 Bradley-Terry 模型对语言模型进行排名，该模型为每个模型赋予一个分数，因此隐含了 Luce 选择公理的假设。选择理论预言了这一假设会在何处失效：高度相似的模型之间，投票所体现的偏好比其分数所暗示的更为鲜明。在 180 万次 Arena 投票中，同一模型不同版本之间的投票，其偏好鲜明程度是 Bradley-Terry 预测的 1.37 倍；同一代模型不同规模之间为 1.26 倍，同一实验室不同模型之间为 1.12 倍。一年后发布的数据呈现出一致的倍数关系，而且在采用不同的平局处理方式、提示词子集和主题，以及进行时间因素检查后，这一效应依然存在。两个模型的回答在措辞和格式上的相似程度与该效应相关。一种包含四至六个参数的修正方法，对留出投票数据的预测优于 Bradley-Terry，也优于包含数百个参数的模型，而这种优势主要来自对平局的建模；在预先确定的测试中，将其参数冻结并应用于新发布的数据后，收益集中体现在平局预测上，尚未证实其能更好地预测两两对决的胜算。排行榜顺序几乎没有变化。在使用语言模型作为评判者、提供三个答案选项的实验中，将不同提示词下的选择汇总后，高度相似的答案主要从其近似副本那里分走选票（对数优势比变化为 +0.10，95% 区间为 0.05 至 0.16）；在单个提示词内，这一变化较小，且在四个评判模型中仅有两个呈现出明确的变化。