从延迟单侧反馈中学习个性化记忆门控

arXiv:2610.23812v1 公告类型：新增 摘要：长期记忆使语言模型智能体能够为未来交互提供个性化服务，但有限的记忆库无法保留所有提取出的事实。现有的记忆门控策略通常在不同用户之间共享，因此无法考虑用户特有的未来复用模式。本文在事实层面研究记忆门控问题。首先，我们提出一种基于检索的标注策略，根据每条事实之后是否被检索并纳入回复来进行标注。随后，我们将在线记忆门控形式化为具有延迟单侧反馈的上下文苹果品尝问题，并提出 Warm-Start UCB，将基于现有数据的离线学习与针对当前用户的在线适应相结合。我们的理论分析表明，当延迟窗口至多为 $O(\sqrt{T})$ 时，可以以高概率得到 $\tilde{O}(T\epsilon \wedge d\sqrt{T})$ 的遗憾上界，其中 $T$ 是轮次总数，$\epsilon$ 是初始化误差，$d$ 是特征映射的维度，而 $\tilde{O}(\cdot)$ 隐去常数因子和多对数因子。实验结果表明，在不同的记忆预算和历史长度下，我们的方法均优于所有基线方法，证明了其作为一种有前景的个性化记忆门控策略的潜力。