代码掌控模拟，Jev掌控评估

arXiv:2610.01834v1 公告类型：cross 摘要：诸如 \jev{} 这样的判断模型只需一次调用且无需输出推理文本，就能为每个所描述的选项返回一个概率。这使它们很适合作为智能体的动作选择层，但目前尚不清楚哪些决策可以放心交给它们。我们在反思测试、一次性矩阵博弈、文本游戏 ALFWorld 和机器人控制任务上测试了 \jev{}，发现了一条清晰的界限。\jev{} 在能够根据输入所描述的内容判断正确选项时表现良好，我们将这种能力称为\emph{评估}。具体来说，它解决了 99\% 的反直觉认知反思测试题。然而，当正确选项取决于\emph{模拟}（即预测输入中未提供的信息）时，例如对手的动作或必须首先完成的子目标，它就会失败。在博弈中，由于没有给出对手的动作，\jev{} 的表现并非最优，仿佛其理性对手是随机行动的。在 ALFWorld 中，\jev{} 偏好提及任务描述中出现的物体或地点名称的指令。例如，给定任务“把一把干净的刀放进抽屉”，\jev{} 会直接把一把未清洗的刀拿到抽屉，而不是先在水槽处清洗它。令人惊讶的是，许多此类失败并非源于知识不足。当被单独询问对手会做什么时，\jev{} 通常能够正确回答；在给出对手动作的情况下，它也能做出良好回应。它失败的原因在于，一次调用必须同时完成模拟，并基于模拟结果进行评估。这表明，应当让代码完成预测或模拟。当由代码提供这些信息时，例如在 ALFWorld 中进行前瞻搜索、在机器人控制中进行物理模拟，\jev{} 凭借其通用的评估能力，就能成为专家级控制器。