面向以人为中心环境的离线学徒学习

arXiv:2610.28716v1 发布类型：新 摘要：在 Intelligent Tutoring Systems（ITSs）和临床医疗等以人为中心的环境中进行有效决策，需要具备适应性、数据效率高且能够以合乎伦理的方式部署的策略。学徒学习（AL）通过恢复潜在的奖励结构，直接从专家示范中推断策略，从而实现无需与环境交互的严格离线学习。本论文围绕奖励建模和示范质量这两项挑战，构建了一系列离线 AL 框架。在奖励建模方面，EM-EDM 根据潜在奖励函数对示范进行聚类，并诱导出针对各个簇的策略；THEMES 则在分层学习的奖励调节器引导下，将轨迹划分为时间上连贯的子轨迹。在一个教育数据集和三个临床数据集上，THEMES 的表现优于扁平式和分层式 AL 基线。在示范质量方面，HALIDE 将连续质量信号整合到分层策略诱导中，从而能够在分布偏移下以有原则的方式复用不同质量的数据。CCHAL 进一步通过贝叶斯信用分配、对比专家与非专家行为的双臂关键性评分，以及针对失败轨迹的 Bradley-Terry 对比式 IRL 目标，将质量归因于单个决策；在三个临床 EHR 数据集和一个 ITS 数据集上，其表现优于包括 HALIDE 在内的基线方法。最后，对 StuEDM 的真实课堂评估表明：作为一种由 EDM 诱导的策略，StuEDM 保留学生自主权，仅在意见不一致时进行干预；与 Expert 基线相比，它带来了显著的学习增益，并且其经前测调整后的后测分数高于在规模大得多的语料库上训练的 CQL 策略，同时对学生决策的覆盖次数不到后者的一半。总体而言，本研究确立了离线 AL 作为一种适用于以人为中心环境的实用、高数据效率且符合伦理要求的范式。