SpliTEE：结合 GPU 辅助可信执行环境与差分隐私，实现快速且保护隐私的 LLM 推理

arXiv:2609.15039v3 公告类型：replace-cross 摘要：用户提供给大语言模型（LLM）的提示词可能包含隐私信息。一种保护方式是在可信执行环境（TEE）内运行 LLM。然而，这会导致推理缓慢，因为在 LLM 推理任务中，当前 TEE 的速度显著低于 GPU。为解决这一问题，Tram\`er 和 Boneh（2019）提出了 Slalom，将神经网络推理拆分到 TEE 和不可信 GPU 上执行，并对外包给 GPU 的计算所使用的输入进行加密。本文将这种拆分推理架构扩展到 LLM 推理，并改用差分隐私（DP）保护中间输入。我们首先展示了一种利用中间表示重建提示词的攻击，其准确率达到 80%，从而证明对中间表示进行掩蔽的必要性。我们的主要贡献是对 LLM 推理中关键函数的全局敏感度进行分析，从而为所需的 DP 噪声尺度给出界限。与加密不同，DP 无需量化，使 LLM 能够始终在浮点域中运行。我们还推导了掩蔽及后续噪声消除所引入的浮点误差上界，该上界是隐私参数 epsilon 的函数，同时保持 LLM 响应质量不变。我们使用 Intel TDX TEE 和两个 LLM——Llama-3.2-3B 与 Qwen3-4B——实现了这一架构。我们的拆分执行速度接近完全基于 TDX 的推理的两倍。此外，其速度比 Slalom 最多快 43%，同时准确率更高。最后，我们证明，即使已知 DP 机制，提示词重建也无法恢复出比无关提示词所包含的信息更多的信息。