能力并非你所需的一切：测量 AI 中的倾向性

arXiv:2602.18182v5 公告类型：替换 摘要：AI 评估主要聚焦于测量能力，越来越多地采用受项目反应理论（IRT）启发的形式化方法。然而，倾向性——模型表现出特定行为的倾向——在决定性能和安全结果方面发挥着核心作用。但传统的 IRT 将模型在任务上的成功描述为模型能力和任务要求的单调函数；这种方法不适用于倾向性，因为倾向性过强或不足都可能带来问题。在此，我们通过对模型成功率采用双逻辑斯蒂形式，提出了首个用于测量 AI 倾向性的形式化框架：当模型的倾向性处于“理想区间”内时，该框架会赋予较高的成功概率。此外，我们使用配备新开发的任务无关评分标准的 LLM，估计理想区间的边界。将该框架应用于六个 LLM 模型系列——这些模型的倾向性分别被诱导向两个方向——我们发现，该框架能够测量倾向性偏移的程度，以及这种偏移对任务产生的影响。关键的是，使用一个基准测试估计出的倾向性能够成功预测模型在保留任务上的行为。此外，将倾向性与能力结合起来，比单独使用其中任一项具有更强的预测能力。更广泛地说，我们的框架展示了如何严格测量倾向性，以及相比仅使用能力评估来预测 AI 行为，这种方法如何带来更好的效果。