arXiv cs.AI精选85

当文件摄取误导语言模型:衡量与缓解 Office 文档中的差异

When File Ingestion Misleads Language Models: Measuring and Mitigating Divergences in Office Documents

· 1天前

精选理由

揭示文档解析与人眼所见的差异如何误导主流 AI,并提出 Prism 防护,帮助提升文件处理的可靠性与安全性。

AI 摘要

如今,人们经常将 Office 文档上传至大语言模型(LLM)进行处理。然而,LLM 看到的内容并不总是与人类看到的相同,因为它通常读取的是提取器从文档底层的 Office Open XML(OOXML)文件中提取出的文本。由于实现方式不同,提取器在读取哪些 OOXML 部分以及如何解释这些部分上存在差异,因此其输出可能与 Office 应用程序显示的内容不同。例如,攻击者只需略微移动幻灯片上文本框的位置,就能调换模型读取它们的顺序,而幻灯片看起来毫无变化。我们表明,这种提取差异构成了 LLM 应用的一个攻击面。在本研究中,我们首先分析了 LLM 应用所依赖的广泛使用的提取器,以衡量攻击者能够利用哪些差异。通过结合静态源代码分析与动态分析,我们识别出 19 种 OOXML 通道,提取器会通过这些通道读取人类看不到的内容;另有 12 种通道中,提取器会丢弃人类能够看到的内容。我们还发现,广泛使用的提取器会忽略显示格式和阅读顺序,因此即使是可见内容,也会以不同的形式传递给模型。基于这些发现,我们构造了五种攻击,无需注入任何指令,就能使模型对文档的解读与人类审阅者不同。我们在四款主流聊天助手(ChatGPT、Claude、Gemini 和 Microsoft 365 Copilot)以及四款编程智能体(Codex、Claude Code、Antigravity 和 GitHub Copilot CLI)上测试了这些攻击,发现每款工具都至少被一种攻击误导。最后,我们提出了 Prism,这是一种轻量级防御方案,可在将文本传递给模型之前,根据 OOXML 规范重建人类所见的内容。Prism 还能够泛化应对未见过的攻击载荷。

查看原文(arXiv cs.AI)