MobileInject:评估基于 MLLM 的移动代理在 Cross-Modal Consistency Injection 下的推理到行动安全性
MobileInject: Evaluating Reasoning-to-Action Security of MLLM-Based Mobile Agents under Cross-Modal Consistency Injection
精选理由
揭示移动智能体跨模态注入风险,提供系统化评测基准与安全改进依据。
AI 摘要
基于多模态大语言模型(MLLM)的移动代理正从对话助手快速发展为能够感知、推理并操作智能手机环境的自主系统。这种能力也带来了新的安全风险:攻击者可以将恶意目标嵌入跨应用移动内容中,并通过间接的多模态注入引导代理行为。尽管提示注入已在桌面和 Web 环境中得到研究,但其在移动生态系统中的跨模态特性仍缺乏充分理解,现有安全分析也仍然有限。为弥补这一空白,我们提出了 MobileInject,这是首个用于评估移动代理抵御多模态注入攻击能力及其推理到行动安全风险的基准。MobileInject 提供了一个高保真的交互式移动评估框架,涵盖 11 个场景、9 类安全风险和 108 个可执行风险实例。此外,它引入了 Cross-Modal Consistency Injection,以利用不同模态之间的相互印证;引入了两种增强攻击方法——Multi-Role Collaborative Deception 和 Reasoning-Camouflage Injection——以强化信任操纵和推理劫持;并提出了 Reasoning Security Diagnosis Framework,用于开展细粒度的失效分析。系统性实验表明,移动代理普遍容易受到多模态注入攻击的影响,且许多失效源于早期阶段的推理劫持。这些发现确立了 MobileInject 作为研究和改进移动代理安全性的系统性跨模态基准。代码发布详情见附录中的 Open Science 部分。