TrackMem:追踪长期金融对话中不断演变的观点
TrackMem: Tracking Evolving Beliefs in Long-Horizon Financial Dialogue
精选理由
提出追踪财务对话中数字与观点演变的记忆系统,帮助模型准确应对长期投资交流中的复杂问题。
AI 摘要
针对大语言模型智能体的记忆系统,大多数评估都基于社交对话。在这类对话中,事实不断积累且很少变化,因此记忆任务在很大程度上简化为找到某句话出现的对话轮次。金融对话打破了这一假设:数字会被修订,立场会在未被重新明确表述的情况下发生变化,只陈述过一次的规则会约束后续问题,而同一家公司也会从多个分析视角加以讨论。因此,检索与问题最相似或最新段落的记忆系统,会返回已被取代的数值,遗漏与问题没有相同措辞的规则,也无法还原分散在多次会话中的立场。我们提出了 TrackMem,这是一种按说话者组织的图记忆系统,能够追踪数字的历史变化,按实体和分析视角区分观点,并按时间顺序保留每位说话者的行为。为评估该系统,我们引入了 FinLoCoMo 基准,其中包含 15 段长期投资对话和 765 个问题,分为两个子集:一个沿用 LoCoMo 的类别,另一个针对四种失效模式。在使用两种阅读模型的情况下,TrackMem 在两个子集上的表现均优于现有记忆系统。在失效模式子集上,其宏平均准确率达到 73.9%,而最强基线为 69.4%;其中,在涉及修订后数字的问题上提升最大,准确率为 86.5%,而基线为 73.4%。