从表征到读出：语言模型中成员身份信号的机制分析
From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models
精选理由
提出 DUG 框架，区分模型记住训练数据与读出相关信息的机制，揭示不同训练方式下成员信号的差异。
AI 摘要
arXiv:2610.41445v1 公告类型：新论文 摘要：成员推断旨在判断某个特定样本是否包含在模型的训练数据中。这类成员身份信号通常被笼统地描述为记忆，而其底层机制可能既涉及信息在模型内部如何表征，也涉及模型如何访问信息以产生行为。因此，我们对大型语言模型（LLMs）中的成员身份信号开展了机制研究。我们提出了 Decodable Information Score、Used Information Score 和 Readout Accessibility Gap（DUG）这一组互补指标，分别量化可从内部表征中解码的成员身份信息，以及这些信息通过模型读出过程显现的程度。在基于监督微调（SFT）和强化学习（RL）的成员推断方法中，SFT 下的成员身份特异性效应同时体现在可解码信息量和读出过程上，而基于 RL 的成员推断方法中的此类效应则主要体现在读出过程上。激活修补进一步将这种成员身份特异性效应定位于中间层。为考察这些发现是否适用于更一般的 RL 场景，我们进一步研究了采用可验证奖励的强化学习（RLVR）中的数据污染问题，在该场景下，训练奖励独立于参考解答。我们发现，在这一场景中，行为变化可能在基于似然的成员推断信号没有相应增强的情况下出现。