入乡随俗：从异质智能体中学习通用行为

arXiv:2606.18537v2 公告类型：替换 摘要：人类常通过观察他人来获得新技能，因为观察到的行为能够隐含地揭示在环境中合理行动的方式。然而，从异质群体中获取的观察数据会引入相互冲突的行为信号，使人们难以判断哪些行为值得模仿。为应对这一挑战，我们提出了通用奖励推断与解耦（General Reward Inference and Disentanglement，GRID），这是一种社会学习方法，旨在从追求不同目标的异质示范者群体中提取普遍有用的行为。GRID通过信息瓶颈将每个智能体的奖励函数分解为通用奖励和特定奖励：前者刻画所有智能体共享的行为，后者刻画个体偏好与目标。仅基于通用奖励进行训练，形成了一种通用智能体预训练的新范式。该方法能够得到一个通用智能体，使其内化安全性和基本任务熟练度等环境中的普适能力，同时避免标准示范学习技术中常见的模式平均偏差。该通用智能体可作为下游任务微调的强先验，包括训练期间未出现过的偏好。我们在合成基函数分解、多智能体 Craftax、连续控制任务（MuJoCo Gym）以及自动驾驶模拟器（Highway-Env）上的实验表明，GRID能够以具有语义意义的方式成功解耦奖励结构，优于标准示范学习基线，并实现更高效、更稳定的专门化。