推理即压缩：通过条件信息瓶颈统一预算强制方法

arXiv:2603.08462v3 公告类型：替换 摘要：思维链（CoT）提示提高了大语言模型在复杂任务上的准确率，但往往会增加 token 用量和推理成本。现有的“预算强制”方法通过采用启发式长度惩罚进行微调来降低成本，却同时抑制了必要的推理和冗余的填充内容。我们基于信息瓶颈（IB）原理，将高效推理重新表述为一个有损压缩问题，并指出将朴素 IB 应用于 Transformer 时存在的一个关键理论缺口：注意力机制破坏了提示、推理轨迹与回答之间的马尔可夫性。为解决这一问题，我们基于条件信息瓶颈（CIB）原理对 CoT 生成进行建模，其中推理轨迹 $Z$ 充当计算桥梁，仅包含无法直接从提示 $X$ 中获取的、有关回答 $Y$ 的信息。由此得到一个通用的强化学习目标：在推理轨迹的先验分布下压缩生成内容，同时最大化任务奖励，并将常见的启发式方法（如长度惩罚）纳入其中作为特例（如均匀先验）。与朴素的 token 计数方法不同，我们引入了一种语义先验，利用语言模型下的惊异度衡量 token 成本。关键在于，我们仅查询该先验的 token 级对数概率，因此给训练循环带来的额外开销可以忽略不计。实证结果表明，我们的 CIB 目标能够在保持流畅性和逻辑性的同时削减推理冗余，在适度压缩时提高准确率，并能在准确率下降极小的情况下实现大幅压缩。这些收益可推广至不同模型系列和任务领域，证实 CIB 是一个领域无关的 CoT 压缩框架。