新模型,旧习惯:多会话 LLM 智能体中模型切换下的行为迁移
New Model, Old Habits: Behavior Transfer under Model Swapping in Multi-Session LLM Agents
精选理由
揭示模型切换时历史记录会迁移行为习惯,并提出 DASH 摘要方法,在保持强模型优势的同时减少弱模型影响。
AI 摘要
多会话智能体可以在不同 LLM 之间切换,以平衡性能与推理成本。这类切换需要传递历史记录以保持连续性,但其对接收模型的影响尚未得到充分研究。通过针对多会话任务的受控实验,我们揭示了行为迁移现象:接收模型倾向于采用生成其历史记录的模型所表现出的推理与行动模式。这一效应在传递原始历史记录时最为明显,但通过摘要可显著减弱。基于这些发现,我们提出了感知迁移方向与生成来源的历史摘要方法(DASH),通过摘要保留较强模型的行为,同时尽量减少从弱模型到强模型的行为迁移。反复切换模型的实验表明,DASH 优于原始历史记录传递和朴素摘要基线。这些结果表明,有效的多模型编排不仅需要考虑使用哪个模型,还需要考虑延续哪些行为模式。