KnowGPO：按知识状态分组做信用分配的搜索智能体强化学习框架
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对深度搜索智能体在多轮长程交互中难以对单次搜索决策分配信用的问题，研究者提出 KnowGPO。该方法不再以表层轨迹状态或模型内部信号为锚点，而是把每个查询所需信息拆成原子知识条件，用已满足条件的子集表示每步轨迹状态；知识状态相同的轨迹被归为一组做组内比较，相邻步骤间新增的知识量作为有环境依据的过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上，KnowGPO 比仅用结果奖励的 GRPO 以及过程监督基线 GiGPO、IGPO 高出 3.8 到 4.2 分，其 8B 模型可与多数 32B 开源系统相当或更强。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载按知识条件对齐轨迹
深度搜索智能体要在多轮长程交互中完成知识密集型任务，把信用分配给某一次具体的搜索决策本身就很困难。基于结果的强化学习只给出一个终端奖励，由整条轨迹共享。近来的过程监督方法试图把信用落到更细的粒度上，但通常把信用锚定在表层轨迹状态或模型内部信号上；在深度搜索场景里，观测是异质的，检索到的上下文又长又带噪声，这两类锚点都会变得不可靠。KnowGPO 的做法是改用轨迹已经获取的、与任务相关的知识来对齐轨迹，而不是用表层观测对齐。对每个查询，它把推导答案所需的信息拆成若干原子知识条件，并用每一步已经满足的条件子集来表示该步的轨迹状态。
同知识状态分组比较
在 KnowGPO 中，处于相同知识状态的轨迹被归入同一组，在组内进行比较；相邻两步之间新增的知识量则充当有环境依据的过程奖励。这样一来，信用不再依赖表层观测或模型内部信号，而是落在知识条件是否被满足这一可核验的层面上。论文在 Xbench、BrowseComp-ZH 和 GAIA 上做了实验，结果显示 KnowGPO 稳定优于仅用结果信号的 GRPO，以及过程监督基线 GiGPO 和 IGPO，领先幅度为 3.8 到 4.2 个点；其 8B 模型的表现可与多数 32B 开源系统相当甚至更好。论文提交于 2026 年 10 月 15 日，代码已公开。
为什么值得看
把过程奖励锚定在可验证的知识增量上，为搜索智能体的信用分配提供了新思路，且小模型表现接近大模型。
智能体强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。