arXiv cs.AI精选78

辩论何时有效:多智能体推理中的提案供给与验证感知读出

When Debate Helps: Proposal Supply and Verification-Aware Readout in Multi-Agent Reasoning

· 10天前

精选理由

揭示多智能体辩论何时超越投票,并提供提升提案覆盖与验证决策的方法。

AI 摘要

多智能体辩论能够提升推理能力,但往往无法胜过简单的多数投票。我们认为,成功的辩论需要两种不同的机制:提案供给必须让正确答案浮现出来,而读出机制则必须在投票未能选出正确答案时识别出该答案。我们通过“可恢复余量”对第一项要求进行形式化,该指标衡量的是这样一类情况:正确提案已经出现,但多数答案是错误的。针对第二项要求,我们提出 Latent Verification Debate(LVD),这是一种记账模型:候选提案在最终生成之前会获得与答案相关的验证证据。通过受控的固定提案干预,我们以等价的同伴支持单元估计这一潜在效应,并表明,在提案供给保持不变的情况下,正确证据会改变答案概率和生成决策。为改善提案供给,我们利用带标签和无标签的覆盖目标,从 neural-thicket 智能体构建智能体社会。在两个主干模型和预算匹配的推理基准上,基于覆盖率选择的智能体社会能够增加互补性提案供给,并在重复随机评估中提升总体准确率。轮次级控制进一步表明,交互带来的收益超出了直接将同一最终决策器应用于初始提案所获得的收益。这些结果表明,提案覆盖与对真值敏感的证据使用,是辩论优于投票的互补条件。代码可见于 https://github.com/Wang-ML-Lab/when-debate-helps】【。

查看原文(arXiv cs.AI)