通过转变感知的奖励引导表征采样实现 LLM 去毒

大型语言模型（LLM）可能生成有毒内容，因此需要有效的测试时去毒方法。现有表征引导方法往往依赖静态或粗粒度干预，且由于未能充分建模有毒生成与无毒生成之间的转变，提供的引导不够精确。我们提出 Transition-Aware Reward-Guided Representation Sampling（TARGRS），这是一个测试时框架，可在潜在表征空间中学习针对毒性转变的奖励引导。在探索阶段，沿毒性方向逐步引导，构建从无毒状态到有毒状态的轨迹。这些轨迹上的毒性评分将稀疏标注转化为密集的列表级监督，用于训练转变感知的词元级奖励模型。在推理阶段，TARGRS 使用该模型，沿相反的无毒方向引导由粗到细的采样：粗采样确定到达无毒区域所需的干预，细化采样则选择扰动最小的去毒表征。在 RealToxicityPrompts、BOLD 和 AttaQ 上针对 10 个 LLM 开展的实验表明，TARGRS 持续优于最先进的基线方法，在 RealToxicityPrompts 上将毒性最多降低了 69.38%。TARGRS 的运行速度几乎与原始 LLM 相同，同时保留其核心能力，且影响极小。通过在语言解码器空间中进行干预，TARGRS 还可扩展至大型视觉语言模型（LVLM），在 3 个具有代表性的 LVLM 上将毒性最多降低了 64.23%。