多智能体系统中的潜在通信

arXiv:2609.39788v2 发布类型：replace-cross 摘要：潜在通信使多智能体系统能够直接在内部表示空间中交换信息，从而降低基于文本通信所带来的令牌、计算和延迟开销。为此，引入了轻量级可训练连接，将发送方的表示映射到接收方的输入空间。在本文中，我们表明，即使是良性的连接训练，也可能在底层经过安全对齐的智能体保持不变的情况下，相较于基于文本的通信提高有害服从程度。攻击者可以通过在有害查询—响应对上优化连接，或污染原本良性的训练数据，进一步放大这一影响。我们还提出了一种强化学习攻击，在不需要有害目标响应的情况下，同时奖励有害服从和良性任务性能。在三种通信拓扑和四个安全基准测试中，该攻击将平均有害服从分数从使用良性训练连接时的27.9提高到76.9。与直接监督优化相比，该方法在两个良性效用基准测试上也取得了更高的平均准确率。将奖励调整为鼓励更安全的行为，还能够修复受损的连接，在不更新智能体的情况下，大幅降低所有评估攻击中的有害服从程度。总体而言，我们的结果表明，安全对齐需要将多智能体系统作为一个整体加以考虑。代码：https://github.com/Muhammad-Huzaifaa/latent-safety