上下文压缩能否保留拒绝对齐？
Does Context Compression Preserve Refusal Alignment?
精选理由
研究揭示上下文压缩可能削弱模型拒绝行为，并提出无需重训的修复方法，为兼顾推理效率与安全对齐提供依据。
AI 摘要
上下文压缩通过将输入编码为紧凑表示，在保留语义内容的同时降低推理成本。一个尚未解决的问题是，仅保留语义是否足以维持拒绝对齐等下游行为。我们研究了这一问题，发现基于编码器的压缩会系统性地削弱经过指令微调的语言模型的拒绝行为，即便其重建保真度很高。这一效应在不同模型系列和压缩架构中均持续存在。机制分析表明，压缩会减弱沿解码器所学拒绝方向的激活。我们进一步探索了 Memory Steering，这是一种轻量级的推理时干预方法，无需重新训练，即可将拒绝率恢复至接近基线的水平，且完全在压缩表示空间中运行。这些结果表明，在压缩条件下，保留语义并不保证保留行为，凸显了在压缩感知系统中显式保留对齐相关特征的必要性。