没有态射的对象：数学领域的 LLMs 不表征什么

arXiv:2610.03551v1 发布类型：新 摘要：大型语言模型（LLMs）在竞赛数学中达到专家级表现，很大程度上得益于围绕模型进行的大量搜索：批量采样候选解，只有在外部标准接受它们时才予以保留。这种做法改善了最终保留下来的结果，却没有改变模型所表征的内容。我们在不存在外部标准的情形下考察这一问题：在相邻子领域的不同术语体系之间翻译陈述，其中的忠实性取决于内容所断言的概括层次。源文本通过其词汇将这一层次隐含起来，因此忠实的翻译必须从理论之间的关系中恢复它。我们引入了一种工具，将真值、内容和范围分别编码到相互隔离且不相互知晓的队列中，并用一种无需评判者的指标衡量改写是否陈述了源文本中隐含的假设；我们还通过植入正例的对照实验验证了该工具的敏感性。在来自四个系列的七个模型中，向更一般的表述框架翻译时，60.6%的改写扩大了量化范围，没有任何改写缩小范围；向更具体的表述框架翻译时，28.3%的改写缩小了范围，0.3%的改写扩大了范围。本可阻止这种偏移的假设，在模型改写中有21.6%被明确陈述，而在人类陈述中仅有4.2%被明确陈述。能力并不能决定这种不对称性：我们测试的每个模型都表现出这种现象，而且能力最强的模型扩大范围的程度最小。按照预注册规则留出的那一半基准测试数据上，以及数学家撰写的陈述上，该现象均得到复现。指示模型陈述其所需的每一个假设，会提高该比例，却不会提高其对方向的敏感性。我们认为，这些系统已经习得了子领域词汇之间对象层面的对应关系，却没有习得理论之间的翻译必须将假设映射为假设这一约束。