通过注意力头干预实现 LLMs 中的个性化隐私控制
Personalized Privacy Control in LLMs via Attention Head Intervention
精选理由
为LLM个性化隐私控制提供基准与修复方法。
AI 摘要
agentic AI 的兴起使 LLMs 能够访问多样化的用户数据,从而引发了关键的隐私担忧。以往关于情境隐私的研究探讨 LLMs 是否会根据依赖情境的规范来调节信息披露。然而,即使在相同情境下,不同用户可接受的披露边界也可能有所不同。为解决这一局限,我们引入 \textit{个性化隐私},将用户特定的披露偏好纳入隐私控制。我们进一步提出 P3Bench~(\textbf{P}ersonalized \textbf{P}rivacy \textbf{P}reservation \textbf{Bench}mark),这是一个新的基准,将情境隐私策略扩展为个性化披露策略。实验表明,基于提示的策略无法可靠地执行个性化隐私策略,其中 Qwen2.5-7B 和 Gemma3-4B 的平均策略忽视率分别为 51.25\% 和 74.28\%。最后,为解决这一问题,我们提出 \textsc{Repair},这是一种稳健的推理时注意力头干预方法,可将披露行为调整为符合策略的响应。我们的方法通过减少模型未能遵循给定策略的情况,显著提高了对用户特定隐私偏好的遵循程度。