言语强化学习的兴起

自然语言正逐渐成为改进语言智能体的主要反馈通道，能够以人类和现代语言模型都可解释的形式传达意图、偏好和因果结构。我们将这一范式称为 Verbal Reinforcement Learning (VRL)，并给出其首个统一阐述。我们围绕一个单一轴线组织该领域，即 \textit{语言反馈在智能体生命周期中的何时} 发生作用，以及 \textit{它会修改什么}，从而形成三个支柱：（1）\textbf{语言作为锚定信号}，即语言通过指定目标、状态和奖励结构来定义任务本身；（2）\textbf{语言作为推理反馈}，即自然语言在测试时引导推理，而无需更新模型参数；（3）\textbf{语言作为学习信号}，即基于语言的反馈通过训练塑造模型参数。在每个支柱下，我们综合代表性工作，区分方法的关键子类，并概述语言在塑造智能体行为中所扮演的独特角色。总体而言，这一分类法展示了言语强化如何重塑智能体开发，同时也界定了构建更强大且更对齐的智能体所面临的挑战与机遇。