用于小型 Transformer 算术推理的算法式草稿与课程分阶段训练

arXiv:2610.09003v1 公告类型：新 摘要：自回归大型语言模型（LLM）经常难以处理多位数乘法和长除法等确定性的多步算法任务。本文研究了在合成数据上训练的紧凑型“Tiny”Transformer（约 10.6M 个非嵌入参数，总计 49.3M 个参数）执行多步算术的机制，涵盖四种基本运算（+、-、*、/），并将其展开为逐步草稿。首先，我们确立了必要的训练基础：（1）数据加载器中的序列填充会产生 83% 的梯度缺失现象，使准确率从 40% 暴跌至 1%，而连续序列打包可以修复这一问题；（2）语言预训练是必要前提（未进行语言预训练时准确率不超过 2.0%）；（3）现代架构组件（RoPE、RMSNorm、SwiGLU）和稀疏专家混合模型（MoE）相较于基线 GPT-2 能显著提升加法推理能力。其次，我们证明，算法式草稿的设计直接决定了任务能否成功。在四阶段层级发展式课程训练中引入确定性的逐位长除法草稿后，在包含 4,000 道题目的留出基准测试上，单数字除法的准确率从 4.0% 大幅提升至 86.7%。相比之下，多位数乘法仍然颇具挑战：详细的错误分析表明，尽管模型能够正确计算单位数子乘积以及位值对应的零，但我们的 FOIL 草稿要求在单个步骤中同时求和最多九个多位数项，且没有进行成对的中间累加，因此未能奏效。最后，我们确定了两个关键边界：在未见过的四位数操作数上，性能会崩溃至 0.00%；而未采用缓冲的训练会导致灾难性遗忘，使除法准确率从 86.7% 降至 0.00%。