Tandem：在移动端 NPU 上部署混合线性注意力 GUI 智能体

智能手机 GUI 智能体通过反复读取屏幕并向模型请求下一步操作来完成移动应用中的任务。移动神经处理单元（NPU）支持本地执行，使屏幕内容保留在手机上，但模型延迟会随着每次操作不断累积。混合线性注意力模型可降低内存需求，但要复用其循环状态，需要在适当的输入位置保存检查点。智能体请求会保留指令，却会改写近期历史，因此为聊天续写设计的检查点策略可能无法发现可复用的前缀。为推测解码保留回滚状态，还可能使提示词处理转移到 NPU 的矩阵单元之外；对于较短的操作输出，这种额外开销可能超过解码节省的时间。已加载的模型还可能使 NPU 在任务之间保持唤醒状态。我们提出了 Tandem，一种面向移动端 NPU 上混合 GUI 智能体的运行时系统。Tandem 会在连续提示词发生分歧的位置保存循环状态，使后续请求能够复用此前已处理的上下文。它将大部分预填充处理保留在矩阵单元上，并通过较短的逐 token 尾部过程生成回滚状态。其验证内核会为所有候选 token 仅读取每个权重块一次。在请求突发之间，Tandem 会在不卸载模型的情况下解除 NPU 的电源投票。我们在 llama.cpp 中实现了 Tandem，并在两个 Snapdragon 代际平台上使用记录的智能体交互进行了评估。在 Snapdragon 8 Elite 上，与 llama.cpp 最快的 NPU 配置相比，Tandem 将基于文本的屏幕描述的单步延迟降低了 30%，将截图场景的单步延迟降低了 16%，将每个文本步骤的能耗降低了 33%，并在模型保持加载的情况下将待机功耗从 0.76 W 降至 0.22 W。