犹豫具有几何结构：用于稀疏激活引导的经熵训练双曲探针

arXiv:2610.02391v1 发布类型：new 摘要：当大语言模型解决数学问题时，其推理很大程度上具有层次性，而解答通常会在少数几个下一词熵较高的词元处发生分支。这种树状结构嵌入双曲空间时的失真远低于嵌入欧氏空间。尽管如此，激活引导通常仍通过在每个词元处添加同一个固定的欧氏向量来编辑预训练模型的隐藏状态，即使解答中的大多数词元已经由上下文确定。我们提出 Hyperbolic Entropy Steering（HEST）：使用一个轻量级探针将隐藏状态嵌入 Poincaré 球，而该探针唯一的标签就是模型自身的下一词熵。当该熵超过阈值时，HEST 沿着探针读出函数的最速下降测地线移动嵌入状态，然后将这一变化映射回隐藏状态。对于以一个学习得到的理想点为基础的 Busemann 读出函数，我们证明，固定长度的步长会在任意状态处将其降低相同的量。在来自 Qwen2.5-Math 和 Llama-3.1 系列的三个指令微调模型上，采用 Busemann 读出函数的 HEST 在六种设置中的五种下提升了 MATH-500 和 GSM8K 上的贪心准确率，最高提升 1.8 个百分点；相比之下，在每个词元处添加对比式引导向量会降低准确率。对于以相同方式训练的欧氏探针，在 Qwen2.5-Math-1.5B-Instruct 上，这一增益消失了。对于模型经常犹豫的问题，增益最大；而在其余问题上，准确率几乎没有变化。