论文提出 Bellman 语言模型：把 LLM 智能体的重复决策求解为控制器
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载决策与生成拆开
论文的出发点是智能体工作流中的一个观察：把决策从内容生成中分离出来后，在有限工作流里，LLM 面对的决策空间会逐渐接近饱和，同样的状态反复出现，对话足够多之后不再遇到新状态。但模型通常不把这类决策当作优化问题，而是每一轮都从上下文或提示中重新推导一遍。作者认为，在合理边界内把决策当作优化问题求解一次、复用已解出的决策，往往能让智能体更快、更便宜、更可靠。
从日志到离散状态
方法名为 Discretize, Then Decide。它的输入是工作流自身的日志；如果没有日志，就用 LLM 智能体自己的运行记录。流程是把每段对话读成离散状态，估计每个结果出现的概率以及每个动作的成本，反复进行，直到不再出现新状态、概率也不再变化。随后对得到的马尔可夫决策过程求解。解出的策略以控制器形式运行在模型外围：内容在状态中已经固定的动作，例如工具调用或模板化回复，由控制器直接发出；控制器没见过的状态则退回给 LLM 处理。作者把以这种方式运行的 LLM 称为 Bellman language model，名称取自 Richard Bellman 关于每个状态下最优动作的方程。
基准上的收益
在 τ²-bench telecom 上，不带模型的控制器单独解决 79% 的任务。开源模型 Qwen3.8-27B 作为 BLM 运行时，成功率从 29% 升到 96%，模型调用次数减少 93%。Claude Opus 5.5 单独运行本已解决 96% 的任务，改为 BLM 运行后，模型调用与单任务成本都下降约 98%，并且多解决了 2 个任务。在 InventoryBench 上，无模型求解出的策略优于所有已发表方法。论文共 52 页，含 13 张图、11 张表，并附有预注册信息。
适用边界
作者也给出该方法失效的场景：当难点在于写出内容而不是选择动作时，例如解决 SymPy 问题，能够提前求解的决策很少，BLM 带来的帮助有限。这一边界说明该方法的收益来自决策空间可枚举、可复用，而非对所有智能体任务普遍成立。
为什么值得看
把重复决策离线求解成控制器，可大幅削减模型调用与成本，同时给出适用边界：选动作有效，写内容无效。
信源1 家
关键事实
论文提出 Discretize, Then Decide 方法：从日志或智能体运行中提取离散状态，估计结果概率与动作成本，再求解马尔可夫决策过程。[1]
解出的策略作为控制器包在模型外层，内容已固定的动作直接下发，未见过的状态交回 LLM。[1]
在 τ²-bench telecom 上，无模型的控制器解决 79% 任务；Qwen3.8-27B 从 29% 提升到 96%，模型调用减少 93%。[1]
Claude Opus 5.5 单独运行解决 96% 任务，作为 BLM 运行时模型调用与单任务成本降低约 98%，并多解 2 个任务。[1]
在 InventoryBench 上，无模型求解出的策略优于所有已发表方法；在 SymPy 问题等难在写内容的场景，BLM 帮助有限。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。