GenomeOcean Anywhere：面向基因组 MoEs 的私有 WebGPU 推理

arXiv:2609.35882v2 公告类型：替换交叉版本 摘要：基因组基础模型在生成序列的场景中最有用，但最大的模型需要数据中心加速器，并且需要一个用来发送私有 DNA 的地方。我们探讨这样一种可能性：一个拥有 150 亿参数的基因组混合专家（MoE）模型，能否改为运行在志愿者的 Web 浏览器中，让各个专家分布在许多不受信任的设备上，同时既不改变其预测结果，也不让任何单台设备获知完整序列。我们构建了一个系统：由受信任的协调器执行注意力计算和路由，而浏览器工作节点通过手写的 WebGPU 内核运行每个专家的前馈网络；同时，我们使用实值 Lagrange 编码计算来保护专家输入：每个工作节点只接收一个经过高斯填充的份额，计算专家的线性映射，协调器则可从三个工作节点中的任意两个进行解码。在 GenomeOcean-MoE（8 个专家、top-2 路由、24 层）上，浏览器路径在每个量化级别都与原生 llama.cpp 相匹配；分布式路径始终处于 BF16 数值噪声下限（每个 token 的 KL 散度为 0.0036 nats）；未经拟合的延迟模型在模拟广域网链路下预测解码时间的误差中位数为 0.74%。我们首先证明，明文专家输入并不具有隐私性：探针在每个深度都能从单个向量中恢复 token；而单个工作节点仅凭 300 个无序 token，就能以 92% 的准确率识别源基因组。采用编码专家后，在份额上训练的自适应攻击者的表现会降至最高频 token 基线；单个工作节点关于每个 token 的信息量被限制在每次前向传播 1 bit 以下，同时保真度损失仍低于 BF16 噪声下限；在 Chrome 中，编码解码的每 token 延迟为 220 至 376 毫秒，具体取决于隐藏了多少路由信息，并且即使某个工作节点发生故障，也无需副本即可继续运行。