为何 Gated DeltaNet 能经受住 4 位量化：用于混合型 27B LLM 递归半部分的 NVFP4 W4A4

混合型 LLM 将 softmax 注意力与线性注意力层（如 Gated DeltaNet, GDN）配对，其递归状态以固定大小总结上下文。早期社区对 Qwen3.8-27B（48 个 GDN 层，16 个 attention 层）的 4 位量化实现，出于“递归中的误差会在长上下文中累积”的直觉，保留了 GDN 块为 8 位或 16 位精度——尤其是其衰减门和写入强度门。我们通过构建 Minima 来检验这一直觉：对全部 496 个线性层（包括 GDN）都采用 NVFP4 W4A4。我们在 4K/32K 的困惑度、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench，以及到 64K 的 RULER 检索上测试发现，Minima 在种子噪声范围内与 BF16 相当（5 项任务平均 -0.52），同时是我们比较的方案中最小（17.5 GiB）且预填充最快（+14-19%）的方案，而且其 32K 困惑度差距会随位置缩小。一个四部分的机制研究解释了原因：(i) NVFP4 的 16 元素块缩放将残差流中的极端离群值局部化，使不同层角色之间的激活误差更加均衡；(ii) 所谓脆弱的门投影反而最不敏感——softplus/指数和 sigmoid 参数化把约 11% 的 GEMM 误差压缩为约 2% 的输出误差；(iii) delta-rule 递归在 32K token 上将注入噪声维持在平坦平台，并在数百步内忘记一个状态脉冲，因为每次写入都会沿当前 key 方向覆盖状态；(iv) 单个 token 的量化成本会随上下文而被冲淡，而不是累积。我们还修复了一种全局尺度不匹配：当按模块校准的 NVFP4 检查点由将这些模块融合为一个 GEMM 的 kernels 提供服务时会出现该问题，并表明经过校准的 FP8 KV-cache 尺度不会带来性能损失。结果表明，一个实用方案是——全部量化，附带 KV 尺度——并且给出了一个机理性解释：为什么混合型 LLM 的递归半部分是更容易量化的那一半。检查点：https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4