正确但不可选择：多候选推理中隐藏的接口税

arXiv:2610.32235v1 公告类型：新 摘要：在成本、延迟或隐私约束下部署的小型语言模型，在推理失败时无法简单地切换到更大的模型。多候选生成后重排序提供了一条自然的测试时扩展路径。然而，候选数量增加并不总能带来更高的准确率。我们发现了生成与选择之间一个此前被忽视的瓶颈：正确答案可能出现在候选池中，却因不完整、无法解析，或与固定选择器所预期的答案模式不一致而未被选中。我们将这种损失称为隐藏接口税，并形式化提出覆盖率—转换分解，以区分原始Oracle覆盖率和可选择覆盖率，后者指正确候选实际上能够被选择器处理的问题子集。我们提出兼容性感知候选构造（Compatibility-Aware Candidate Construction，CACC），作为候选来源与固定选择器之间的接口层，在无需重新训练任一组件的情况下修复片段、对齐答案模式，并移除会干扰选择器的噪声。在数值推理任务（GSM8K、competition_math）上，CACC同时提升了Oracle覆盖率和最终准确率。在GPQA Diamond上，单独使用CACC即可将最终准确率从5.6%提升至19.2%（+13.6个百分点）；结合提议器侧强化后，最终准确率达到25.8%（+20.2个百分点）。在MMLU-Pro上，CACC揭示了覆盖率—转换差距：与答案模式兼容的构造提高了Oracle覆盖率，但在原始选择器下最终准确率下降了0.85个百分点；加入提议器侧强化后，最终准确率得到提升。