欲实现长期对齐,先制定短期计划:在长时程学习环境中通过落实短期计划模拟与多样化行为画像对齐的学生
To Align Long, Plan Short: Simulating Diverse Profile-Aligned Students by Realizing Short-Term Plans in Long-Horizon Learning Environments
精选理由
提出分层规划框架,让模拟学生在长周期学习互动中持续贴合行为画像,助力低成本评估教学平台与AI导师。
AI 摘要
模拟学生提供了一种可扩展的方法,可在学习平台和 AI 导师面向真实学生部署之前对其进行测试,并补充用于大规模学习研究的稀缺数据。现有基于 LLM 的模拟器主要针对以语言为中心的短时交互。然而,在开放式学习环境中,学生行为体现为长时程交互轨迹中的模式,而逐轮提示可能导致行为偏离指定的行为画像。我们提出 ALPS(Align Long-term by Planning Short-term),这是一种以可观测且针对特定环境的行为画像为条件的分层模拟学生。ALPS 并非独立选择每个动作,而是交替进行与行为画像对齐的任务片段规划和相应的动作生成。我们在数据充足和数据稀缺两种情境下评估 ALPS,监督信号分别来自真实学生轨迹和教师 LLM。在这两种情境下,我们均比较了上下文学习(ICL)、监督微调(SFT)、奖励排序微调(RAFT)及其顺序组合(先 SFT,后 RAFT)。我们在一款探究式物理游戏和一个药学模拟环境中开展实验,对照留出的真实数据评估行为密度与覆盖度,并使用与人类判断对齐的 LLM 评判器评估行为画像一致性。在两种情境下,ALPS 的表现均持续优于逐轮生成;在监督信号稀缺时,其密度和评判器通过率仍达到相当水平,但覆盖度依然较低。这些结果表明,即使真实学生数据有限,分层规划也能在长时程交互中实现忠实且与行为画像对齐的模拟。