世界模型不必准确，也能正确排序策略：相对界与审计局限

选择强化学习（RL）策略通常需要额外的环境交互，而学得的世界模型能够提供低成本但可能有偏的评估。这引出了两个不同的问题：尽管绝对值估计不佳，共享的模型误差能否保持两两排序的正确性？这些误差是否会使少量真实环境审计提供更多信息？我们推导了一个精确的成对仿真恒等式，以及一个将共模 Bellman 残差与策略特异性误差分离的相对界。该分析启发了 RAVEL（Relative Auditing of Value Errors in Learned models），这是一种选择性策略锦标赛，使用留出的真实环境结果进行淘汰。我们在 DMC 的 cheetah-run 和 walker-walk 任务中，对每个任务分别测试了 45 个 SAC、TD3 和 PPO 策略。当轨迹展开长度为 500 时，模型排序仍然表现良好（Kendall tau 分别为 0.962 和 0.800），同次运行中的差分误差比率分别为 0.674 和 0.106。然而，配对审计误差的平均相关系数仅为 0.007 和 0.090，配对使标准差分别变化了 -2.5% 和 +1.9%。同时置信区间的覆盖率达到 99.98% 和 99.75%，但在进行八次审计时，仅能确认 13.2% 和 0% 的决策。RAVEL 降低了低预算下 walker-walk 任务中的遗憾，而在最大预算下，仅使用真实环境结果的逐次减半方法表现更好，因此未能达到预先设定的两倍效率目标。在冻结模型的情况下进行优化，降低了真实回报，却未使预测回报在平均意义上增加。因此，排序保真度、有用的审计协方差以及向上利用模型偏差是不同的性质，闭环轨迹的分歧是造成这些性质分离的部分原因。