偏好的可阐述、可验证与默会成分

arXiv:2610.03025v1 公告类型：cross 摘要：是什么让短篇小说扣人心弦、新闻文章具有新闻价值，或数学证明优雅？这些构念难以阐述或验证；其含义至少有一部分是默会的。然而，现代 AI 模型的改进主要依赖以明确阐述的准则、评分标准和验证器（即 RLAIF 和 RLVR）；偏好的默会成分通常未得到充分研究。我们引入了大规模标注偏好数据集 CreativePreferences，其中包含 280 万篇文本，这些文本来自 7 个创意领域，并由人类通过 3.17 亿次偏好判断进行标注，涵盖 42 项基准任务。我们分别使用可执行程序、评分标准库和经过密集训练的模型（V、A 和 VAT）对这些标签进行建模。我们观察到稳健的可阐述性差距 VAT-VA，以及可验证性差距 VAT-V；我们通过一种新颖的测量方法估计每种差距的上下界。该方法能够发现可阐述和可验证的指标、识别虚假变量，并利用捕获—再捕获法估计尚未发现的指标的价值。这些差距存在于所有领域，即使是在传统上被视为完全可验证的领域：以正确性为中心的领域（即数学和软件工程），以及以主张和新颖性为核心的领域（即新闻、专利和同行评审）。差距的大小因领域而异（例如，同行评审和创意写作具有最大的可阐述性差距），并且随着参与判断的人数增加而扩大，这与 Collins 的集体默会知识相一致。我们展示了两个后果：（1）在人类生成结果上，完整模型与人类偏好的匹配程度更高，并且经常与明确阐述的标准不一致；（2）类比 Goodhart 定律，对偏好进行阐述会使其偏离默会维度。可阐述性和可验证性差距会产生重要影响；我们就何时可以通过提示完成任务、如何改进学习机制，以及何时应将判断留给人类提出建议。