論文提出 Bellman 語言模型：把 LLM 智能體的重複決策求解為控制器
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載決策與生成拆開
論文的出發點是智能體工作流中的一個觀察：把決策從內容生成中分離出來後，在有限工作流裏，LLM 面對的決策空間會逐漸接近飽和，同樣的狀態反覆出現，對話足夠多之後不再遇到新狀態。但模型通常不把這類決策當作優化問題，而是每一輪都從上下文或提示中重新推導一遍。作者認為，在合理邊界內把決策當作優化問題求解一次、複用已解出的決策，往往能讓智能體更快、更便宜、更可靠。
從日誌到離散狀態
方法名為 Discretize, Then Decide。它的輸入是工作流自身的日誌；如果沒有日誌，就用 LLM 智能體自己的運行記錄。流程是把每段對話讀成離散狀態，估計每個結果出現的概率以及每個動作的成本，反覆進行，直到不再出現新狀態、概率也不再變化。隨後對得到的馬爾可夫決策過程求解。解出的策略以控制器形式運行在模型外圍：內容在狀態中已經固定的動作，例如工具調用或模板化回覆，由控制器直接發出；控制器沒見過的狀態則退回給 LLM 處理。作者把以這種方式運行的 LLM 稱為 Bellman language model，名稱取自 Richard Bellman 關於每個狀態下最優動作的方程。
基準上的收益
在 τ²-bench telecom 上，不帶模型的控制器單獨解決 79% 的任務。開源模型 Qwen3.8-27B 作為 BLM 運行時，成功率從 29% 升到 96%，模型調用次數減少 93%。Claude Opus 5.5 單獨運行本已解決 96% 的任務，改為 BLM 運行後，模型調用與單任務成本都下降約 98%，並且多解決了 2 個任務。在 InventoryBench 上，無模型求解出的策略優於所有已發表方法。論文共 52 頁，含 13 張圖、11 張表，並附有預註冊資訊。
適用邊界
作者也給出該方法失效的場景：當難點在於寫出內容而不是選擇動作時，例如解決 SymPy 問題，能夠提前求解的決策很少，BLM 帶來的幫助有限。這一邊界說明該方法的收益來自決策空間可枚舉、可複用，而非對所有智能體任務普遍成立。
為什麼值得看
把重複決策離線求解成控制器，可大幅削減模型調用與成本，同時給出適用邊界：選動作有效，寫內容無效。
信源1 家
關鍵事實
論文提出 Discretize, Then Decide 方法：從日誌或智能體運行中提取離散狀態，估計結果概率與動作成本，再求解馬爾可夫決策過程。[1]
解出的策略作為控制器包在模型外層，內容已固定的動作直接下發，未見過的狀態交回 LLM。[1]
在 τ²-bench telecom 上，無模型的控制器解決 79% 任務；Qwen3.8-27B 從 29% 提升到 96%，模型調用減少 93%。[1]
Claude Opus 5.5 單獨運行解決 96% 任務，作為 BLM 運行時模型調用與單任務成本降低約 98%，並多解 2 個任務。[1]
在 InventoryBench 上，無模型求解出的策略優於所有已發表方法；在 SymPy 問題等難在寫內容的場景，BLM 幫助有限。[1]
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。