EVOL：模拟器引导的进化专家合成，用于无需部署的学习路径推荐

学习路径推荐（LPR）中的强化学习（RL）面临两个相互耦合的障碍。首先，策略必须在没有中间反馈的情况下，确定由 L 个概念组成的序列，从而产生一个随 L 超指数增长的组合搜索空间，并且只有在最后一步才能获得奖励。其次，专家学习路径本应是解决稀疏奖励 RL 的自然方法，但教育数据中并不存在这类路径，因为学生日志记录的是学习者做了什么，而不是他们本应做什么。为解决这两个障碍，我们借鉴了机器人领域基于模拟器的示范学习方法：知识追踪模拟器既用于通过进化搜索合成为每个学习者定制的专家示范，也用于训练一种无需部署的策略，将这些示范提炼为前馈学习器。我们的框架 EVOL 采用非对称 actor-critic 架构实现这一流程：actor 负责执行符合实际部署情境的盲规划，而 critic 则在训练期间利用模拟器提供的特权状态。在三个数据集（ASSIST15、Junyi 和 EdNet；包含 39–189 个概念）以及路径长度 L = 5、10 和 20 的设置下，EVOL 超越了涵盖启发式方法、序列方法、RL、图增强 RL 和 LLM 增强方法的 8 个基线。我们进一步比较了三种模仿策略（BC、AWR 和 DAPG），结果表明，最终性能取决于进化专家的质量，而非具体采用哪一种模仿目标。