LLM 集成增益从何而来？分解候选价值、多样性与聚合
Where Do LLM Ensemble Gains Come From? Decomposing Candidate Value, Diversity, and Aggregation
精选理由
揭示集成收益受对照组选择影响，帮助研究者准确拆解候选数量与上下文的贡献，规范评测与归因。
AI 摘要
LLM 集成增益通常以单一基线为参照进行衡量，但归因于额外候选的价值可能随所用比较基准而变化。我们在四种匹配条件下研究 LLM 聚合器：直接生成（无候选）、单槽位（多槽位接口中仅有一个候选）、重复候选（同一候选重复出现）和多候选（分别生成的候选）。在任一非多样性对照下，总体候选增益（CIV）都可通过代数运算分解为额外候选对比效应（DSV）和候选上下文对比效应（CCV）；这种分解取决于所选对照，但 CIV 不受影响。在 MultiHopRAG 的模型多样性实验（k=2）中，重复差距 Rep=-8.33 个百分点 [-13.25, -3.75] 量化了分别以重复候选和单槽位为参照所测得增益之间的差异。在 FRAMES 上采用更强模型组的匹配扩展实验（n=200，k=3，聚合器输出上限为 4096）中，配对差值 Delta Rep=+9.67 个百分点 [+6.00, +13.50]；在各模型组内，Rep 的符号发生反转（原始模型组为 -6.33；更强模型组为 +3.33）。在 FRAMES 证据聚合中，两种非多样性对照下的候选上下文对比效应均保持显著负值。我们的结果说明，在将增益归因于额外候选之前，集成评估应先明确所用的参照对照。