利用扩散模型对人形机器人策略的神经网络权重进行建模与理解

机器人学习的最新进展推动了人形机器人控制的快速发展，使机器人能够在现实世界中展现出日益敏捷的行为。然而，人形机器人控制网络通常通过传统训练流程获得，相比之下，直接对其学习到的权重分布进行建模并在权重空间中生成功能性网络的研究仍然较少。在本研究中，我们探讨能否直接通过权重对高性能人形机器人控制网络进行生成式建模。我们采用一种将线性自编码器与 Diffusion Transformer 相结合的潜在扩散框架。自编码器将动作策略网络的参数压缩到紧凑的潜在空间中，Diffusion Transformer 则对这些潜在表示的分布进行建模。我们的方法使用针对 Unitree G1 机器人进行强化学习时收集的网络进行训练，能够生成可部署的网络，在现实世界中执行行走、舞蹈和旋转踢等多种动作。除生成之外，我们还进一步研究了学习到的权重空间，以更好地理解这些人形机器人控制网络所捕捉的结构。我们在第一层权重中发现了一种结构性规律，它能一致地反映机器人的运动学先验。值得注意的是，这种运动学先验在强化学习（RL）和模仿学习（IL）训练中均会涌现，这表明它并非某种特定优化过程所独有，而可能反映了与人形机器人具身形态相关的共通知识。总体而言，这些结果证明了在人形机器人网络权重空间中进行生成式建模的可行性，同时为理解其学习到的权重所编码的信息提供了初步见解。更多结果请参见我们的项目网站：https://humanoid-weight-diffusion.github.io/