藏于明处：基于扩散的视觉语言模型地理定位隐私泄露缓解方法

arXiv:2609.21363v2 公告类型：replace-cross 摘要：多模态大型推理模型（MLRMs）在复杂视觉理解方面展现出卓越能力。然而，这种强大能力也带来了一种严重却尚未得到充分研究的隐私威胁：攻击者可以利用 MLRMs，对建筑风格、植被和光照条件等细微视觉线索进行结构化推理，从用户随手分享的照片中精确推断其地理位置。在本研究中，我们系统研究了 MLRM 驱动的地理定位隐私泄露问题。我们首先揭示，基于拒绝响应的防护措施严重不足，因为精心设计的越狱提示可以将模型响应率提高至 100%。我们进一步发现，现有防御方法通过向共享图像中注入不可感知的扰动来实现保护，但受限于像素空间优化所固有的结构性局限，导致黑盒迁移能力下降，并产生明显的视觉伪影。基于这些发现，我们提出了一种基于扩散的框架，为地理定位隐私泄露提供有针对性的主动防御。我们的方法在反向采样过程中向扩散模型的潜在空间注入扰动，直接作用于高层语义表示，从而从设计上突破防御有效性与图像实用性之间的瓶颈。我们进一步采用与 GPS 坐标显式对齐的模型 GeoCLIP 作为替代模型，为优化提供依据，精准定位并破坏 MLRMs 用于位置推断的地理信号。这种有针对性的语义扰乱在保持图像感知质量的同时，显著增强了黑盒迁移能力，并可无缝集成到社交媒体平台中。代码可在 https://github.com/RachelWolowitz/Hiding_in_plain_sight 获取。