Bellman Language Models：解决 LLM Agent 的循环决策

在 Agent 工作流中，尤其是有界工作流中，一个普遍现象是：当我们将决策与生成区分开来后，LLM 的决策空间开始趋于饱和：Agent 会反复遇到相同的状态，经过足够多轮对话后，便不再遇到新的状态。LLM 通常不会将这些决策视为一个优化问题，而是在每一轮都根据上下文或提示词重新推导决策。我们发现，在合理范围内将决策过程视为优化问题，一次性求解并复用已求得的决策，往往可以让 Agent 更快、更便宜且更可靠。我们称之为 Discretize, Then Decide 的方法从工作流自身的日志等数据开始；如果没有日志，则使用 LLM Agent 自身的运行记录。该方法将每段对话读取为离散状态，并估计每种结果的概率和每个动作的成本，直到不再出现新状态且概率不再变化。随后，它求解由此得到的马尔可夫决策过程。求解结果会作为模型周围的控制器运行：对于内容在状态中已固定的动作（例如工具调用或模板化回复），控制器直接发送这些动作；而对于尚未见过的状态，则将其交回 LLM。我们将以这种方式运行的 LLM 称为 Bellman language model（BLM），名称取自 Richard Bellman 关于每个状态下最佳动作的方程。在 $τ^2$-bench telecom 上，不使用模型的控制器可以解决 79% 的任务。作为 BLM，开放模型 Qwen3.8-27B 的任务解决率从 29% 提升至 96%，同时模型调用次数减少 93%。对于单独运行时即可解决 96% 任务的 Claude Opus 5.5，将其作为 BLM 运行后，模型调用次数和每项任务的成本均减少约 98%，并且还能额外解决 2 项任务。在 InventoryBench 上，不使用模型的已求解策略优于所有已发表的方法。当难点在于编写内容而非选择动作时（例如解决 SymPy 问题），能够预先求解的决策很少，BLM 的帮助也不大。