面向人机协作的基于人类反馈的强化学习：范围综述与实验研究

人机协作（HRC）能够促进工业4.0中的大规模定制，而基于人类反馈的强化学习（RLHF）则是开发安全的人工智能机器人的一种前景广阔的方法。在人工智能开发过程中的安全性、人类反馈质量以及人机双向适应方面，仍存在实际挑战。我们对HRC系统中的RLHF开展了范围综述，梳理了应对这些挑战的方法。遵循PRISMA指南，我们筛选了199条记录，纳入了20篇发表于2020—2025年、经过同行评审的文献，涵盖多个HRC领域。据我们所知，这是首篇聚焦RLHF双向闭环设计的综述。综述发现，多种反馈模态支持以不同反馈形式收集数据。所收集的数据可以在人工智能训练的不同阶段整合，从而形成多步骤的开发流程。试点实验通常依据人类与机器人两方面的指标来评估HRC系统。为通过实证检验综述中发现的一项关键研究空白，我们开展了一项组间设计的虚拟现实（VR）实验，对比了系统发起与用户发起的反馈在机器人安全导航中的人际空间行为方面的表现。我们使用贝叶斯模型，分析了所收集的反馈与安全指标之间的关系：心理安全感（实验后问卷）和物理安全性（碰撞时间的倒数）。结果表明，与系统发起的反馈相比，用户发起的反馈能更好地捕捉感知安全性，说明反馈时机直接影响反馈质量。我们的综述与实验结果表明，RLHF依赖恰当的反馈方法来确保HRC中的人工智能安全；未来的RLHF研究应优先开展贴近现实的HRC实验，评估反馈收集方法对相关人类与机器人指标的影响。