注册

MCGPO：面向LLM智能体训练的分组策略优化方法

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Matched-Context Group Policy Optimization（MCGPO），用于从已采集轨迹中构建带权重的动作偏好，以缓解长程语言模型智能体训练中终端反馈稀疏、难以给中间决策分配信用的问题。方法用动作前状态摘要与观测到的评分标准进展定义比较上下文，由任务规则标注，并在精确匹配与粗粒度匹配规则间选择。固定折分把候选决策与用于定向偏好的终端结果分开，依赖支持度的证据权重缩放一个辅助成对目标，与共享的 GraphGPO 任务学习并行，且复用 rollout 数据与原始历史，保持无 critic 训练。在六种环境-骨干组合、每种三个训练种子的设置下，MCGPO 相对匹配的 GraphGPO 提升平均成功率：Qwen2.5-1.5B 与 7B 在 ALFWorld 和 WebShop 上提升 0.47 至 1.46 个百分点，Qwen3-4B 与 …

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

长程语言模型智能体的训练难点在于终端反馈稀疏，中间每一步决策该分到多少功劳或责任并不清楚。论文把这一信用分配问题放在一组同源 rollout 内部来看：只有当动作比较建立在相同上下文之上、并且两个备选都有证据支撑时，比较才有意义。作者由此提出 MCGPO，目标是从已经收集到的轨迹里构造出带权重的动作偏好，而不是重新采样或引入额外的价值网络。方法强调证据如何进入学习过程同样关键，因此把比较上下文、匹配规则与证据权重作为三个相互配合的环节来设计。

方法的关键设计

MCGPO 用动作前的状态摘要和观测到的评分标准进展来定义比较上下文，这些上下文由任务规则进行标注。在只有两个动作可比较时，方法会在有序的精确匹配与粗粒度匹配规则之间做选择。为避免用结果信息污染候选决策，固定折分把候选决策与用来定向偏好的终端结果隔开；证据权重则依赖支持度，对一个辅助的成对目标进行缩放，并与共享的 GraphGPO 任务学习同时进行。整个过程复用 rollout 数据和每条回复的原始历史，因此保持无 critic 的训练方式，不额外引入价值模型。

实验与提升幅度

论文在六种环境与骨干模型的组合上各跑三个训练种子。相对匹配的 GraphGPO，MCGPO 在平均成功率上有提升：Qwen2.5-1.5B 与 7B 在 ALFWorld 和 WebShop 上提高 0.47 到 1.46 个百分点；Qwen3-4B 与 8B 在 WebShop 上分别提高 3.96 和 5.16 个百分点。作者指出 ALFWorld 上的增益建立在基线成功率已超过 92% 的基础上，剩余提升空间本就有限。在四个 Qwen2.5 设置中有三个的综合成功率得到改善。三种子析因对照支持相反折分的证据与证据加权的作用，而状态与评分标准联合匹配在四个表示对照设置中都取得最高均值。

为什么值得看

给出智能体信用分配的具体做法与多组可复现的提升幅度，适合关注 LLM 智能体训练的人判断是否值得细读。

Qwen智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Matched-Context Group Policy Optimization for LLM Agent Training

关键事实

  • 论文提出 MCGPO，从已采集轨迹中构建带权重的动作偏好，用于长程语言模型智能体训练中的信用分配。[1]

  • 方法用动作前状态摘要与观测到的评分标准进展定义比较上下文，并由任务规则标注。[1]

  • 固定折分将候选决策与用于定向偏好的终端结果分开，依赖支持度的证据权重缩放辅助成对目标。[1]

  • 在六种环境-骨干组合、每种三个训练种子下，Qwen2.5-1.5B 与 7B 在 ALFWorld 和 WebShop 上相对匹配的 GraphGPO 提升 0.47 至 1.46 个百分点。[1]

  • Qwen3-4B 与 8B 在 WebShop 上分别提升 3.96 和 5.16 个百分点。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论