幻影合并:当你的大型语言模型智能体选择了一个实体,却告诉你另一个实体的情况
Phantom Merge: When Your Large Language Model Agents Pick One but Tell You About Another
精选理由
深度 96 / 新颖度 91,来自 arXiv cs.AI。
AI 摘要
大型语言模型智能体日益在多个实体上运行,而可靠的响应生成不仅需要检索相关证据,还需要保持证据与正确实体之间的关联。我们发现了幻影合并(PM)现象:这是一种实体—证据绑定失败,智能体会将未经支持的声明归因于其已确定的实体,即使任务实际上已经正确完成,也可能发生这种情况。我们在声明层面对 PM 进行了形式化定义,并刻画了其在四类智能体领域和四类骨干模型系列中的发生率及错误子类型。为解决这一问题,我们提出了一个用于声明级风险估计与修正的两阶段框架。第一阶段,Anchor-Grounded Risk(AGR)将智能体生成输出前隐藏状态的表征读出与基于雅可比矩阵的功能信息相结合,提供互补的槽位级风险分数和锚点值风险分数。第二阶段,Fixed-Anchor Correction(FAC)审查被标记的声明,并利用观测到的锚点证据对其进行选择性修订;当没有受支持的替代内容可用时,则删除这些声明。在留出的 Shopping 检测队列上,AGR-slot 达到 96.2% 的 AUROC 和 97.3% 的平均精确率,优于所评估的检测基线。在端到端 Shopping 缓解评估中,FAC 将轨迹级 PM 从 51.4% 降至 6.2%,输出与原始声明的比例为 80.7%。这些结果表明,实体特定的落地失败普遍存在,而将内部风险估计与受证据约束的声明修正相结合是有效的。我们的代码已公开发布于 https://github.com/LabRAI/PhantomMerge】【。