在冻结语言模型中实现无需外部记忆的自键控参数内记忆对话回忆
Self-Keyed In-Parameter Memorization for External Memory-Free Dialogue Recall in Frozen Language Models
精选理由
介绍无需外部存储的对话记忆方法，展示冻结模型仅靠参数实现跨问法召回。
AI 摘要
大型语言模型将对话内容维护在模型外部的存储中，并且该存储会随着对话的持续而增长。本研究假设这样一种环境：语言模型没有外部记忆，也不了解未来的问题或答案。本研究旨在探究能否将对话存储在模型参数中，并在之后回答有关该对话的问题。本文提出自键控参数内记忆（SKIM），这是一种闭式方法：模型针对每轮对话生成关于该轮内容的问题，并将这些问题作为稍后检索该轮内容的键写入模型参数。为每轮对话生成大量不同的问题，可以使之后用户提出的问题即使措辞不同，也能与其中一个问题匹配，并仅从模型参数中回忆出答案。在五个语言模型上的评估表明，SKIM能够根据之后用户提出的问题回忆出大多数已存储的对话轮次，并且无需任何外部存储即可从模型参数中作答。