超越成功率：视觉-语言-动作系统中的记忆干预评估

arXiv:2610.23372v1 公告类型：cross 摘要：当我们说一个机器人使用了记忆时，这种记忆实际上发挥了作用吗？仅凭成功率消融实验无法确立系统是否使用了与任务相关的事实：这类实验会同时改变信息和计算，而汇总成功率可能掩盖相互抵消的收益与损失。我们提出了视觉-语言-动作（VLA）系统的记忆干预评估协议（Interventional Memory Evaluation Protocol，IMEP），以回答四个问题：（1）记忆是否带来净收益？（2）记忆在什么条件下有帮助？（3）对记忆的修改是否会改变任务结果？（4）这些影响是否特异性地针对与任务相关的事实？在检索接口处，我们比较了目标事实替换、保持事实不变的替换、最小数值扰动和精确副本，同时分别评估决策正确性与运动执行成功率。我们评估了回合内记忆、跨回合记忆和智能体记忆。在跨回合学习记忆库实验中，一次最低有效位（ULP）级别的干预（包括其安装过程）改变了11.9%的种子配对结果，而修改关键事实相比保持事实不变的替换并未产生明确的额外影响。为考察记忆何时有帮助，我们引入了 ChainBench，其中正确决策需要当前观测中无法获得的历史信息。在共享记录执行结果的条件下，完整记忆配置将任务成功率从39.1%提升至74.3%，与预言机决策条件相当。这些结果表明，正确的历史信息能够支持机器人的决策，但要确立记忆系统是否真正实现了这一收益，需要超越汇总成功率的、针对具体事实的证据。