SAE++：级联稀疏自编码器在多模态大语言模型中学习多层级视觉概念
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
精选理由
SAE++将多模态模型中的视觉特征组织成层级概念，提升内部表征的可解释性，并支持按概念组干预模型输出。
AI 摘要
arXiv:2606.16193v2 公告类型：replace-cross 摘要：多模态大语言模型（MLLMs）在视觉语言任务上表现出色，但其内部视觉表征仍然难以解释。稀疏自编码器（SAEs）提供了一种可扩展的方法，可将稠密的模型激活分解为稀疏、可解释的特征。然而，现有 SAE 架构主要学习扁平化的特征字典，不太适合显式地组织多层级概念。本文提出一种名为 SAE++ 的级联稀疏自编码器架构，用于学习 MLLMs 中的层次化视觉概念。SAE++ 并非嵌套或堆叠 SAE 的稀疏激活编码，而是直接以第一级 SAE 的解码器权重训练第二级 SAE，将学到的低层级特征方向作为更高层级抽象的输入。这一设计使 SAE++ 能够学习“概念的概念”，同时避免嵌套式 Matryoshka 层次结构中共享前缀耦合带来的弊端，以及简单堆叠 SAE 所产生的瓶颈。在多个视觉数据集上针对 Qwen3-VL、Gemma-3 和 LLaVA 开展的实验表明，与当前最先进的 SAE 基线相比，SAE++ 在层次化概念一致性方面提升了可解释性。概念引导实验的结果进一步表明，学到的概念组能够支持对 MLLMs 输出进行有效的组级干预。代码已发布于 https://github.com/Wang-ML-Lab/sae-plus-plus。