通过语言瓶颈进行策略学习

arXiv:2405.04118v4 公告类型：替换 摘要：现代 AI 系统（如自动驾驶汽车和游戏智能体）能够达到超越人类的性能，但通常缺乏类似人类的泛化能力、可解释性以及与人类用户的互操作性。受人类语言与决策之间丰富互动的启发，我们提出了通过语言瓶颈进行策略学习（Policy Learning with a Language Bottleneck，PLLB），这是一种使 AI 智能体能够生成语言规则的框架，这些规则用于捕捉产生高回报行为背后的高层次策略。PLLB 在由语言模型指导的*规则生成*步骤与更新步骤之间交替进行：在更新步骤中，即使一条规则不足以描述完整的复杂策略，智能体也能在规则的指导下学习新的策略。在包括双人信号博弈、迷宫导航、图像重建和机器人抓取规划在内的五项多样化任务中，我们展示了 PLLB 智能体不仅能够学习更具可解释性和泛化性的行为，还能与人类用户分享所学规则，从而实现更有效的人机协作。我们在 https://github.com/meghabyte/bottleneck 提供了实验源代码。