XOR-Trellis：超低复杂度反量化与无 Hadamard 的感知曲率 LLM 量化
XOR-Trellis: Ultra-Low-Complexity Dequantization and Curvature-Aware Hadamard-Free LLM Quantization
精选理由
介绍一种无需哈达玛变换的超低比特量化方法，兼顾精度与并行解码效率。
AI 摘要
arXiv:2610.00432v1 公告类型：新 摘要：基于格构编码的量化能够在超低比特宽度下对大语言模型（LLM）权重进行高维压缩，而无需传统向量量化所要求的指数规模码本。然而，实际部署仍面临两项挑战：以足够高的并行吞吐量重建压缩权重，避免反量化成为推理瓶颈；以及在不依赖高成本非相干变换的情况下保持量化精度。我们通过两项互补技术应对这些挑战。首先，我们提出一种超低复杂度的格构反量化器，采用结构化且硬件高效的状态到数值映射，同时保留多样的重建选项以供格构搜索。其次，我们使用能够直接反映模型在原始坐标空间中敏感性的感知曲率目标函数，重新表述离散格构路径优化问题。结合这两项技术，我们在无需依赖基于 Hadamard 的非相干处理的情况下，实现了高质量的超低比特格构量化，并支持成本低廉且高度并行的运行时重建。