Gumbel Straight Flow：将自回归模型蒸馏为单步流映射
Gumbel Straight Flow: Distilling Autoregressive Models into One-step Flow Maps
精选理由
将自回归模型蒸馏为一步流映射，在保持生成质量的同时显著加速文本生成。
AI 摘要
arXiv:2610.00497v1 公告类型：新 摘要：我们提出了 Gumbel Straight Flow（GSF），一种连续流映射语言模型，它利用预训练自回归语言（AR）模型中的噪声—数据耦合。我们从理论上证明，自回归模型所诱导的 Gumbel 噪声与独热词元序列之间的耦合，会产生连接噪声与序列表示的互不相交线性路径。为进一步提升高质量的少步路径采样效果，我们采用流映射半群目标函数，其中切向量（速度）条件由 AR 教师模型直接引导。在包括预训练和下游任务在内的各类基准测试中，GSF 的表现均优于当前的少步语言生成基线方法。