装傻：国际象棋 Transformer 如何模拟不同技能水平的用户

生成模型越来越多地用于在教育和 AI 评估中模拟不同技能水平的用户。然而，低技能行为究竟反映了较少的内部知识，还是对保留知识的不同运用，目前仍不清楚。在自然语言领域，这一区别很难研究，因为熟练程度和相关知识都难以衡量。在本研究中，我们利用量化的技能等级评分和具有确定性标签的国际象棋概念，研究 Maia-2——一种以棋手技能水平为条件预测人类走法的国际象棋 Transformer。我们保持棋盘局面和模型权重不变，分析技能条件使预测从严重失误变为最佳走法的局面。首先，我们训练探针，根据 Maia-2 的内部状态预测 172 个国际象棋概念是否存在，以此衡量模型编码的知识。在不同技能条件下，探针准确率几乎保持不变，而且在某一技能水平下训练的探针也能准确迁移到其他水平。为检验能否从这些保留的知识中恢复出更强的决策能力，我们仅微调 Maia-2 的最终输出层，就将最低技能区间的最佳走法准确率从 14.4% 提升至 82.8%。仅使用最高技能水平的表征训练这一层，仍能在较低技能水平下保留大部分提升，表明这种恢复不需要直接针对低技能状态进行训练。对稀疏自编码器学到的概念相关特征进行引导，也能改善低技能条件下的决策，同时使探针测得的概念编码基本保持不变。这些结果支持这样一种解释：技能条件改变了保留的概念知识影响走法选择的方式，表明较弱的行为表现可能低估模型内部可用的知识。