缺失的原语：诊断和修复大型语言模型中的数学推理

arXiv:2610.02191v1 公告类型：新 摘要：尽管大型语言模型（LLM）已经展现出解决前沿数学问题的惊人能力，但人们仍不清楚它们是否具备支撑其解答的结构化数学理解。本文首次尝试系统研究大型语言模型中的数学理解，从诊断其不同能力，到利用这些发现改进后训练。首先，我们引入“数学原语”这一概念，用于探究结构化数学理解，并提出 \hlei{}，一种新颖的基准，用于从四个不同维度评估数学推理：发现、生成、消化和执行。其次，我们的系统性诊断表明，解答准确率掩盖了不同的能力特征；原语能够释放大量潜在的执行能力；而发现是数学推理中的主要瓶颈。我们的后训练分析进一步表明，受发现能力限制的失败尤其容易修复。最后，基于这些发现，我们提出 \abs{}，一种原语特权自蒸馏框架，有选择地将原语引导的推理迁移到学生模型中。大量实验表明，在不同模型规模和具有挑战性的基准上，\abs{} 均能持续提升数学推理能力，优于基线方法。