Sherpa：教会 LLMs 进行自适应教学

大型语言模型（LLMs）已经成为能力日益强大的问题解决者，但能够解决问题并不等同于能够教授问题。现有将 LLMs 训练成教师的方法，依赖示范、偏好数据或预先定义的教学标准，用以规定什么样的教学才是良好的。然而，这些信号往往没有以个体学生的学习成果为依据，而有效的教学策略可能因学习者不同而存在显著差异。为此，我们提出 Sherpa，这是一种多轮强化学习框架：利用具有不同学习偏好的 LLMs 实例化多种学生原型，并训练教师模型直接最大化这些学生的学习成果，从而使其能够调整教学方式。使用 Sherpa 训练的教师 LLMs，使所有学生原型的受教学生表现平均提升了 20.5 个百分点。在 MathTutorBench 的评测中，Sherpa 将总体教学得分从 52.5% 提升至 79.2%，表明其教学回应质量更高。我们的人工研究显示，在成对比较中，受训教师有 79.6% 的概率优于基础模型。总体而言，Sherpa 训练 LLM 教师适应多样化的模拟学生，使其与人类教师更加一致，为 AI 导师教授真实学生铺平了道路。