仅答案披露：通过 Web API 获得的私有上下文 LLM 辅助与泄露账本

Web 助手越来越多地通过将设备端小型模型与云端 Web API 背后的 LLM 配对，来回答有关用户私有文档的问题。在协作解码中，文档留在客户端，云端只接收用户批准的公共视图（例如仅包含问题本身），但在生成答案的过程中，两个模型会交换消息。我们发现，消息记录可能泄露私有内容，而这些内容既不包含在公共视图中，也不包含在答案中。在一项植入秘密审计中，使用私有草稿的推测解码虽然没有将秘密代码写入答案，却在被拒绝的草稿中将该代码发送给了云端。我们提出了 ADLER，这是一种用于流式 LLM API 的解码协议：无论客户端如何组合两个模型，也无论云端如何运行，发送给云端的每条消息都只取决于公共视图和用户所看到的答案。随后，客户端侧的泄露账本会相对于一个由云端回复构建的公共参考过程，界定答案本身所泄露的信息量。在该审计中，没有任何 ADLER 配置泄露超出答案本身的信息。在云端输入中屏蔽数值的 GSM8K 数学题上，在宽松的答案解析条件下，具有无限泄露预算的 ADLER 将 0.5B 客户端的精确匹配准确率从 0.41 提升至 0.83，将 1.5B 客户端的准确率从 0.67 提升至 0.85，接近上传完整题目所达到的 0.92。它还分别比零泄露程序基线（0.69）高出 0.14 和 0.16。在该基线中，云端编写一个程序，由客户端离线运行，并使用私有数值。账本记录了与这一性能提升相关的披露代价；在 GSM8K 上，16 纳特或更低的预算会使准确率接近仅云端基线。