arXiv cs.AI精选76

何时提供帮助以及建议什么:在单个紧凑型解码器中联合门控与基于记忆的提示生成

When to Assist and What to Suggest: Joint Gating and Memory-Grounded Hint Generation in One Compact Decoder

· 15小时前

精选理由

介绍单模型联合判断与记忆提示生成,兼顾效果并显著降低推理成本。

AI 摘要

主动式助手会在对话过程中提供简短的、基于记忆的提示,并决定何时提供帮助以及建议什么。当前系统将这一任务拆分给门控器和更大的生成器;我们在28,058个决策点上对二者进行联合评估。分阶段生成得分代表理想门控下的上限:在真实门控下,端到端精确匹配率为0.2619,而上限为0.2971;端到端精确率为0.2387,仍有较大提升空间。门控器在精确率和计算开销方面都能带来收益;与8B生成器搭配时,计算节省为4.39倍,而与1B生成器搭配时降至1.38倍。记忆配置决定了提示质量:移除记忆会使精确匹配得分下降24.7个百分点(重缩放后的BERTScore从0.57降至0.35),而检索和更大的生成器在精确匹配上均未带来额外收益。一个1B解码器即可兼顾二者:从中间层进行门控,并在同一次前向过程中完成生成。在最终检查点上,它在自动端到端指标上达到或超过双模型流水线的表现;与匹配的1B流水线相比,墙钟时间减少了1.31至1.76倍。在三个随机种子下,其更深层的退出点与独立门控器表现持平。人工评估(针对32段对话的1,144次评分)支持记忆机制的作用,并认为单模型的表现与匹配的1B流水线相当、低于8B流水线。分级指标和LlamaPIE的原生评判器比精确匹配更贴近人工评分;我们将精确匹配报告为一个严格的下界。

查看原文(arXiv cs.AI)