想得更多还是读得更多？基于共享上下文的推理的 Token 预算理论

arXiv:2610.23246v1 公告类型：cross 摘要：推理系统越来越多地通过将额外上下文纳入模型输入来提升答案质量，从多智能体辩论（智能体读取其他智能体的回答）到自我精炼（模型重新审视自己的草稿），都属于这种情况。在这些系统中，通信会消耗上下文，因为一个智能体的输出会成为另一个智能体的输入。我们研究这样一种情形：token 的读取和生成共用一个固定的 token 窗口，因此每花费一个 token 用于读取，就少一个 token 可用于推理。我们提出一种\textbf{token 预算理论}，将这种权衡形式化：把准确率建模为读取后剩余推理预算的函数，并使用允许错误相关的 Condorcet 陪审团模型来聚合投票。对于多智能体辩论，该理论给出了最优智能体数量的闭式预测。这个数量可以根据单智能体测量结果估计，从而无需运行辩论即可确定最优群组规模；同样的核算方式也适用于由不同模型组成的异构集合。我们通过实验证实了该理论，并表明在预测的群组规模下，在校准开销最紧张的情况下，我们的方法优于强基线；此时，经过辩论校准的规则只能负担一到两个问题。自我精炼遵循相同的核算方式，只是将自身草稿替代了其他智能体的消息。该理论进一步预测，只有当准确率上限的提升超过读取所占用的推理空间时，通信才会带来收益；并且随着窗口缩小，这一条件会变得更加严格。在五个开放模型和四项推理任务中，在 $980$ 个窗口大小与群组规模匹配的设置中，自洽方法有 $93$\% 的设置达到或超过了实际部署的辩论方法；在窗口较紧时，差距最大，而在窗口较宽时几乎消失，这与理论预测一致。在共享窗口下，一个模型还剩多少空间用于\textit{思考}，比它读取了什么更重要。