大型语言模型中双重用途概念的正交边界遗忘

arXiv:2610.27490v1 公告类型：new 摘要：要降低大型语言模型带来的灾难性风险，就必须在不削弱其良性科学用途的前提下，移除有害的操作能力，例如网络战攻击利用和病原体增强。在这些双重用途领域中，合法的防御性科学与恶意攻击共享词汇、句法以及模型内部表示，导致标准遗忘方法引发严重的附带损害（概念渗漏）。在本研究中，我们提出正交边界遗忘（Orthogonal Boundary Unlearning，OBU），这是一种具有数学依据的框架，旨在消除对良性双重用途能力的附带损害。OBU通过对配对校准查询的经验激活协方差执行奇异值分解，提取与领域匹配的能力子空间，并将参数更新严格限制在其正交零空间内。这保证了良性表示沿所张成的校准子空间不会经历任何参数扰动。我们提出了OBU的两种互补实现：Projected LoRA，在基于梯度的迭代微调过程中施加正交约束；以及Closed-Form Weight Surgery，无需训练，通过单次解析步骤直接编辑模型权重。在四个现代开放权重基础模型（Gemma-3-4B、Qwen3.5-4B、SmolLM3-3B 和 Granite-4.2-3B）上，OBU实现了强大的双重用途概念分离，显著缓解了上下文内提示攻击，并展现出对抗性再学习的持久抵抗能力，同时不降低良性领域能力。