数学推理中的答案顺序不变性与表征顺序敏感性

在不改变含义的情况下重新排列一组数学规则，应该保持正确答案不变，但模型的内部表征是否也必须保持不变？我们使用合成的多步函数复合问题研究这一问题：每个问题都以多种规则顺序呈现，但正确答案相同。我们测量准确率和排列信噪比（SNR）；后者用于量化相对于不同问题实例之间的变化，规则顺序模式在表征中的区分程度。在涵盖 1B 至 8B 参数规模的 16 个语言模型中，我们发现了一种规律：在重新排序的问题上求解得更准确的模型，也会更加清晰地区分不同的规则顺序。我们评估的每种合成设置中，按层平均的排列 SNR 都与准确率呈正向秩相关，Spearman 相关系数最高达到 0.86。这些发现凸显了答案不变性与表征不变性之间的区别：成功的数学规则复合可以伴随着等价规则顺序之间不同的内部表征。这促使我们将答案不变性与表征不变性区分开来，并从表征角度为数学推理提供一种超越单纯答案准确率的理解。