arXiv cs.AI精选75

编辑目标:$π_{0.5}$ 中的逐词元 SAE 引导及其深度限制

Editing the Goal: Per-Token SAE Steering and Its Depth Limits in $π_{0.5}$

· 3天前

精选理由

通过替换指令中单个目标词的内部特征即可改变机器人任务行为,并揭示这种操控在模型各层的有效范围。

AI 摘要

稀疏自编码器(SAE)已在 $π_{0.5}$ 等机器人基础模型(RFM)中提取出可解释且具有因果相关性的特征(arXiv:2603.19183、arXiv:2603.19233)。单个指令词元上的 SAE 特征不如经过时间步池化的特征易于解释(arXiv:2603.19183),而它们能否改变机器人的目标仍未经检验。我们表明,在保持指令文本不变的情况下,将单个目标词的 SAE 特征替换为另一个目标词的特征,可以引导 $π_{0.5}$-LIBERO 完成替代任务。在第 0 层,BatchTopK 特征替换在某个场景中最多能使 20/20 次试运行的行为转向替代目标,而随机特征替换在该场景中一次也未成功;成功率在两个 LIBERO 套件的六个场景之间以及不同层之间有所差异。这一效果取决于 SAE 架构:按词选择的 Matryoshka 编辑大多并不优于随机编辑。SAE 也并非必需。以自然幅度的两倍添加一个固定的均值差向量,便能使 8–10/10 次试运行转向替代目标。逐层激活修补表明,对于物体位置,目标词编辑直到第 6 层仍然有效;对于物体身份,直到第 2 层仍然有效;而当修补范围也覆盖相机词元时,两种情况下直到第 13 层仍然有效。这些结果证明,仿真环境中的 RFM 确实存在这种现象,并初步勾勒出改变目标的编辑在多深的层中仍能奏效。试运行视频请见 https://doubleblind-sae-pi05.github.io。

查看原文(arXiv cs.AI)