MemLife：对长期第一视角视频记忆进行整理与推理

长期第一视角视频使个性化 AI 助手能够对日常生活进行推理。然而，随着视频历史记录增长到跨越数月或数年的数百小时，每次查询都重新处理原始片段在计算上变得难以承受。记忆系统通过将视频压缩为文本表示，提供了一种可扩展的替代方案，但在实际基准测试中往往表现不佳：要么记忆无法保留关键证据，要么由于不断扩大的搜索空间中存在检索竞争，检索器无法找到相关条目。为应对这些挑战，我们提出了 MemLife，这是一种多模态记忆系统，能够构建以实体为依据的第一人称文本片段，并通过按时间索引的智能体式阅读器对其进行检索。在无需训练且查询时无需访问视频的情况下，MemLife 在四个长时域基准测试中较最强的免训练基线提升了 4.6--12.0%。为进一步提升记忆质量，我们提出了 MemOpt，这是一种强化学习框架，用于优化记忆写入器，使其生成忠实、信息丰富且易于检索的记忆。MemOpt 在不同视频和问题分布上始终将 MemLife 的性能提升 2.7--5.0%，并且这些增益能够跨越不同的写入器与阅读器骨干网络以及不同的记忆系统实现泛化。