用于评分预测的个人 AI 记忆受控审计
A Controlled Audit of Personal AI Memory for Rating Prediction
精选理由
通过严格对照,厘清个人AI记忆如何利用历史评分,并提供可复现的评估方法。
AI 摘要
arXiv:2610.02764v1 发布类型:新 摘要:在结构化评分预测中,个人 AI 使用历史项目—评分关联,还是主要依赖用户的评分倾向?我们通过在每位用户内部置换历史评分,同时保持评分分布、项目支持集和元数据完全不变,来审计这一差异。我们将这一控制实验与完整历史记录、原生记忆提取以及匹配的数值读取器相结合,在一个公开冻结的评估中,测试了 400 个留出用户档案以及 Coat 和 MovieLens 中的 6,160 个目标评分。在 Coat 上,与完整历史记录相比,经过测试的 Qwen 编写的 Mem0 流水线使用户宏平均绝对误差提高了 0.084(Qwen)和 0.149(Phi);两者经家族校正后的 bootstrap 区间均不包含零。正确的历史分配有助于 Coat 上的两种读取器,但在经过校正后,MovieLens 中相应的影响较小且无法得出结论。仅使用历史记录的 ridge 读取器在两个领域都优于 Qwen,并且在 MovieLens 上优于 Phi;而在 Coat 上与 Phi 的比较尚无定论。全部 2,800 次读取器调用(包括 150 次无效输出)均依据固定的回退规则予以保留。另一套独立实现验证了输入、指标和全部十项主要对比结果。本文的贡献是一项可复现的诊断性研究,说明记忆提取、关联使用、输出可靠性和读取器选择为何需要分开评估。