并非所有测试时计算都是证据：LLM推理中的模型特定偏差

测试时扩展方法隐含地假设，来自同一模型的额外计算能够提供独立证据。我们表明，这一假设在单个推理模型内部并不成立：重复采样之间、不同推理深度之间，以及模型自身的评估中，错误都存在相关性，因此，来自同一模型的更多计算并不意味着更多证据。我们提出 DIA（Disagreement-triggered Independent Arbitration，分歧触发的独立仲裁），将中间阶段预测与最终阶段预测之间的分歧视为每道题推理不稳定性的信号，并通过邀请一个由异构模型组成的小型模型组，在看不到任一候选答案的情况下独立解题，再直接汇总其答案来解决这一问题。在七个基准测试和两个基础模型上，DIA 在 14 种设置中的 12 种优于完整思维链，其中在 MuSiQue 上提升了 7.00%；同时，它仅在约 17% 的样例上被激活，并且相比多智能体基线最多减少 47.2% 的 token 使用量。消融实验表明，独立解题和求解器异构性对于取得这些提升都是必要的。