利用不确定性引导探索学习具有条件和量化效果的动作模型

准确的动作模型对于有效规划至关重要。现有的动作模型学习方法大多假设简单的动作表示，或者在学习条件和量化效果时变得计算上不可行。我们提出在线假设驱动的条件动作模型学习（OHCAM），这是一种从与环境的有限交互中学习具有条件和量化效果的动作模型的在线方法。OHCAM 维护对假设动作模型的信念，并通过最大化竞争假设之间的分歧，主动选择信息量丰富的动作以减少不确定性，同时对噪声观测保持鲁棒。为实现可扩展性，OHCAM 从一小组简单的动作模型假设开始，并且只有当当前假设与数据不一致时，才扩展到更复杂的条件。针对六个基准规划域的实验表明，即使在存在观测噪声的情况下，OHCAM 在学习动作模型方面具有较高的样本效率，所学模型解决的任务数量也显著多于基线方法。我们还在使用 Kinova Gen3 机器人的两个任务上验证了 OHCAM，展示了我们方法在现实世界中的适用性。