LittleLearner：在教学法控制的知识暴露下的语言模型

arXiv:2608.13545v2 公告类型：替换-交叉 摘要：现代语言模型基于异构的网络规模文本语料库进行训练。因此，研究知识与技能的习得过程十分困难，因为模型此前接触过相关内容的情况难以刻画。为应对这一挑战，我们推出了 LittleCurriculum，这是一个经过整理、包含 88B 个词元的预训练语料库，针对美国小学教材定制，并明确排除了五年级以上所教授的概念、事实和词汇。在 LittleCurriculum 上从头训练一个拥有 5B 参数的 LLM，得到 LittleLearner：该模型具备足以进行开放式评估的语言能力，同时其知识和能力边界清晰，并可依据易于解释的课程指南加以界定。我们发布 LittleCurriculum 和 LittleLearner，将其作为一个受发展阶段限制的沙盒，用于研究模型如何在明确规定的训练范围内获取、表征和使用数据。我们通过一组初步实验展示了该沙盒在通过训练后学习和上下文学习注入新知识方面的实用性。这些方法能够让 LittleLearner 更好地利用已有知识，但不会提升其范围之外的能力。我们的研究结果凸显了这一受控环境对未来研究的价值。