AEGIS：用于知识保持型视觉-语言-动作微调的锚点强制梯度隔离

arXiv:2604.16067v2 公告类型：替换 摘要：对预训练视觉-语言模型（VLM）进行机器人操作微调时，会引入一个根本性的稳定性-可塑性两难：连续流匹配动作专家将集中的低秩回归梯度反向传播至基于高维交叉熵目标训练的 Transformer 主干网络中。这种跨模态梯度不对称会迅速削弱预训练的视觉推理能力。现有解决方案要么通过停止梯度切断连续梯度流，要么通过 LoRA 约束更新；前者切断了梯度传播，后者限制了更新秩，但无法感知语义破坏；此外，两者通常都依赖混合批次的 VQA 协同训练，使训练计算量翻倍。我们提出 AEGIS（Anchor-Enforced Gradient Isolation System），一种无需缓冲区、逐层进行正交梯度投影的框架，使连续流匹配微调得以进行，同时将预训练表示与破坏性的参数更新隔离开来。在训练开始前，AEGIS 利用预训练数据估计各层高斯激活统计量，并将其作为静态参考锚点。在微调过程中，闭式 Wasserstein-2 传输惩罚通过活动计算图生成锚点恢复梯度。随后，顺序双反向传播过程执行逐层 Gram-Schmidt 正交化：当方向发生冲突时，将任务梯度投影到恢复向量的正交补空间中。我们为逐层正交投影建立了精确的能量保持界，结果表明，AEGIS 在实证中仅损失 0.62% 的梯度能量，同时阻止特征漂移累积。在 LIBERO 操作基准上对 PaliGemma2-3B 进行微调时，AEGIS 在保持连续动作收敛效果相当的同时，完整保留了预训练的视觉问答性能和基线留出损失，并且无需回放缓冲区、教师模型或协同训练数据。