谁知道什么——以及它支持什么？面向视角边界证据校准的多模态心智理论

心智理论（ToM）是指推断他人信念、目标和意图的能力，是社会智能的基石。多模态心智理论要求根据某个智能体能够获得的证据，而不是根据解题者观察到的完整事件过程，来推断该智能体的心理状态。现有基于大语言模型和贝叶斯模型的方法会重建全局事件轨迹，但在评估假设时，并未明确区分客观事件与智能体可获取的证据。因此，智能体无法获取的事件，或语义不匹配的动作和话语，可能会影响对信念、目标或社会意图的推断，导致视角泄漏以及来源或路径混淆。我们将这一局限表述为证据可采纳性问题：只有当证据对相关智能体可获取、保留其信息来源，并且能够诊断所查询的心理状态变量时，证据才应对心理状态假设产生作用。为落实这一原则，我们提出 PIP-ToM，这是一种证据可采纳性接口，用于构建智能体特定的证据存储，与结构化心理状态陈述进行对齐，并在保留底层贝叶斯推理过程的同时校准基于模型的假设得分。搭配 GPT-4o 的 PIP-ToM 在 MuMA-ToM、MMToM-QA 和 Hi-ToM 上均优于现有 ToM 方法，平均准确率分别达到 92.56%、95.00% 和 95.00%。