MASkillBlender：通过技能混合实现多 humanoid 移动操作的去中心化全身协调

arXiv:2610.01102v1 公告类型：cross 摘要：协同式多 humanoid 移动操作具有广阔前景，但由于全身控制的高维性、去中心化决策以及可扩展性等问题，仍面临诸多挑战。尽管近期的强化学习方法提升了单个 humanoid 的全身控制能力，但将其扩展到多 humanoid 场景仍然并非易事，通常需要大量的奖励工程或特定任务的设计。我们提出 MASkillBlender，一种通用的多智能体强化学习框架，用于实现去中心化的多 humanoid 全身协调。通过在可复用的预训练单 humanoid 技能之上学习共享的去中心化高层策略，MASkillBlender 仅使用任务级奖励即可实现协调行为，而无需特定任务的动作参考。为提高学习效率，我们进一步针对同质多 humanoid 系统引入了一种基于排列的数据增强策略，并从理论上证明，在同质马尔可夫博弈表述下，排列后的样本能够保留原始样本的策略梯度方向。我们在两种 humanoid 形态平台上的多个多 humanoid 协调任务中对 MASkillBlender 进行了评估。仿真结果表明，所提出的框架始终能够取得出色的任务性能，并能在不同任务和 humanoid 形态平台之间实现协调行为。