小型语言模型在抽象推理任务上的系统性研究

arXiv:2610.08680v1 公告类型：新增 摘要：抽象推理基准测试中的最终准确率并不能揭示语言模型究竟学会了可迁移的规则，还是拟合了特定于分布的规律。我们在 ARC-TGI 基准上研究了小型语言模型中的这一差异。该基准将抽象网格变换组织成可控的任务族，并支持重采样、空间平移和跨基准迁移。在超过 1,000 次运行中，我们对采用监督微调的仅解码器、编码器—解码器和混合专家模型系列进行了分析。我们考察了技能习得的效率与稳定性、超出训练分布后的鲁棒性、模型系列与任务表述之间的交互作用，以及伴随行为差异的逐层注意力特征。模型可以达到相当高的分布内准确率，但技能习得对优化过程较为敏感，且在不同任务族之间分布不均。在训练分布之外，模型性能会急剧下降，包括在规则保持不变但网格规模发生变化的情况下。增加训练集的深度和广度所带来的收益并不均衡，而额外的上下文示例所产生的影响取决于模型系列。可执行规则归纳还能够产生直接网格生成中未曾观察到的正确解答。在选定任务上，注意力诊断显示出不同的集中模式和上下文依赖特征，但尚不足以确立普遍的因果机制。总体而言，抽象推理得分取决于模型、适应方案、评估分布和响应格式。