学习到的 Transformer 程序中，准确率掩盖了什么

arXiv:2610.22891v1 公布类型：新 摘要：Transformer Programs（TP）（Friedman et al., 2023）对 Transformer 的架构施加约束，使其学习到的计算过程能够提取为可读的 Python 代码。TP 展示了学习到的计算过程，但词元准确率可能掩盖完整答案中的错误。在本研究中，我们考察了程序检查如何提供超越准确率分数的洞见，并帮助指导训练。首先，我们在九项算法任务上评估了 TP。我们将词元准确率与完整输出序列的准确率进行比较，并检查了抽样测试遗漏的失败情况。此外，我们根据程序检查和失败分析评估了训练数据的改进，发现多项任务的序列准确率有所提升。我们研究了一项计数任务：某个程序在抽样测试序列上达到了 100% 的准确率，但在另一个使用训练期间允许的符号和长度的输入上失败了。该程序正确完成了计数，但所需答案并未包含在其输出标签中。在加入计数更大的训练样例后，重新训练的模型通过了有界域上的穷举评估。在频率排序任务中，检查结果显示，在训练数据更改前后训练的程序中，正确的计数如何导致错误的答案。最后，我们研究了 TP 训练过程和操作所施加的约束。TP 训练过程可能导致训练后期的准确率下降。我们的参考构造还表明，组合受限的 TP 操作可能需要许多层或大型查找表。