以双曲目标条件强化学习超越 1000 层欧几里得网络

arXiv:2610.20009v1 公告类型：新论文 摘要：将自监督对比强化学习（CRL）扩展至 1000 层欧几里得神经网络，已使目标到达性能达到当前最先进水平，但实际运行时间随网络深度线性增长。我们发现，改变几何结构可以用浅得多的网络获得更强的性能。这在复杂导航环境中尤为重要，因为墙壁会使路径距离显著偏离欧几里得距离。在 U 形迷宫中，我们表明，路径越长，其与欧几里得距离的偏差就越大。双曲 CRL 通过将 CRL 对比目标中的欧几里得距离替换为双曲空间中的测地距离，解决了这种不匹配。在高难度导航任务中，归纳偏置胜过规模：深度为 64 层的双曲智能体优于深达 1024 层的欧几里得网络，同时训练速度超过后者的 $12 \times$，参数量约为后者的 $1/13$。我们观察到，在高难度人形智能体迷宫任务中，双曲智能体的行为在定性上更优：它们会沿走廊到达目标，而欧几里得智能体则试图走穿越墙壁的直线捷径。我们的结果表明，使表征几何结构与任务相匹配，可以替代大幅增加网络深度的做法。代码地址为 https://github.com/Probabilistic-and-Interactive-ML/HypGCRL 。