KnowGPO：按知識狀態分組做信用分配的搜尋智能體強化學習框架
論文AI 評分 72/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
針對深度搜索智能體在多輪長程交互中難以對單次搜尋決策分配信用的問題，研究者提出 KnowGPO。該方法不再以表層軌跡狀態或模型內部信號為錨點，而是把每個查詢所需資訊拆成原子知識條件，用已滿足條件的子集表示每步軌跡狀態；知識狀態相同的軌跡被歸為一組做組內比較，相鄰步驟間新增的知識量作為有環境依據的過程獎勵。在 Xbench、BrowseComp-ZH 和 GAIA 上，KnowGPO 比僅用結果獎勵的 GRPO 以及過程監督基線 GiGPO、IGPO 高出 3.8 到 4.2 分，其 8B 模型可與多數 32B 開源系統相當或更強。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載按知識條件對齊軌跡
深度搜索智能體要在多輪長程交互中完成知識密集型任務，把信用分配給某一次具體的搜尋決策本身就很困難。基於結果的強化學習只給出一個終端獎勵，由整條軌跡共享。近來的過程監督方法試圖把信用落到更細的粒度上，但通常把信用錨定在表層軌跡狀態或模型內部信號上；在深度搜索場景裏，觀測是異質的，檢索到的上下文又長又帶噪聲，這兩類錨點都會變得不可靠。KnowGPO 的做法是改用軌跡已經獲取的、與任務相關的知識來對齊軌跡，而不是用表層觀測對齊。對每個查詢，它把推導答案所需的資訊拆成若干原子知識條件，並用每一步已經滿足的條件子集來表示該步的軌跡狀態。
同知識狀態分組比較
在 KnowGPO 中，處於相同知識狀態的軌跡被歸入同一組，在組內進行比較；相鄰兩步之間新增的知識量則充當有環境依據的過程獎勵。這樣一來，信用不再依賴表層觀測或模型內部信號，而是落在知識條件是否被滿足這一可核驗的層面上。論文在 Xbench、BrowseComp-ZH 和 GAIA 上做了實驗，結果顯示 KnowGPO 穩定優於僅用結果信號的 GRPO，以及過程監督基線 GiGPO 和 IGPO，領先幅度為 3.8 到 4.2 個點；其 8B 模型的表現可與多數 32B 開源系統相當甚至更好。論文提交於 2026 年 10 月 15 日，代碼已公開。
為什麼值得看
把過程獎勵錨定在可驗證的知識增量上，為搜尋智能體的信用分配提供了新思路，且小模型表現接近大模型。
智能體強化學習論文
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。