HyperThink：用于高效推理的文本到参数超网络

arXiv:2610.03039v1 发布类型：cross 摘要：长篇思考轨迹可以显著提升大型语言模型（LLM）的多步推理性能，但会带来较高的推理时开销，其延迟主要由顺序解码造成。我们提出 HyperThink，一种文本到参数的方法，将这部分推理计算摊销为一次由查询条件决定的参数更新：轻量级超网络读取问题，并预测基础 LLM 少量参数子集的更新；同时，矢量量化解码器将这些更新约束为有限组可复用模式，以提升鲁棒性和迁移能力。HyperThink 在基础模型自身生成的输出上进行端到端训练，从而在测试时无需生成冗长的思考轨迹：经过一次超网络前向传播后，适配后的模型即可生成简洁的逐步解答和最终答案，无需中间思考轨迹，在保留较强推理性能的同时显著减少所需 token 数量。实验结果表明，在数学和通用推理任务上，HyperThink 改善了准确率—延迟权衡的低延迟区域，其中在接近不思考的工作模式下收益最为显著。