注册

AnchorLoop：用历史参考模型改进工具智能体自进化训练

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 AnchorLoop，在自进化工具智能体训练中引入上一轮 Executor 的冻结副本作为历史参考。该参考同时用于训练回路两侧：为 Executor 提供跨参考优势，将当前输出与当前及历史多数答案对比；为 Curriculum 提供基于采样多数一致率差异的参考。由于 Curriculum 训练阶段 Executor 与锚点参数相同，该比较仅作为任务选择的代理指标，不代表版本间改进或正确性。在 13 个推理基准上，AnchorLoop 相比 Agent0 在数学推理上提升 2.5%，在通用推理任务上提升 2.8%，并保持更高的有效优势方差，后续迭代中持续改进，而无锚点基线增益递减。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

自演化智能体的反馈困境

工具集成型智能体的一种训练思路，是让它在自己产生的任务与反馈中不断学习。这套流程里有两个角色：课程智能体负责出题，执行智能体则借助强化学习，从自我一致性信号中获取学习依据。问题出在反馈来源过于单一——如果只依赖当前这一版执行智能体来打分，会出现两种偏差。其一，当所有采样结果完全一致时，组内相对优势会消失，学习信号随之归零；其二，基于不确定性的课程奖励倾向于挑选分歧大的任务，却无法说明这些任务是否真的有助于后续学习。这两点共同指向同一个缺口：训练循环内部缺少一个独立于当前执行智能体的参照物。

冻结上一版作为锚点

针对上述缺口，论文提出 AnchorLoop，做法是保留上一轮迭代执行智能体的一个冻结副本，把它当作历史参照，并在训练循环的两侧同时复用。在执行智能体这一侧，锚点提供一种交叉参照优势，让当前输出同时与当前多数答案和历史多数答案作比较，而不是只跟当下的共识对齐。在课程智能体这一侧，锚点提供基于一致性的参照，依据采样得到的多数一致程度差异来辅助判断。需要说明的是，在课程训练阶段，执行智能体与锚点的参数完全相同，因此这种比较只是任务筛选的代理指标，并不能作为版本间进步或答案正确性的证据。

对比基线与迭代表现

论文将 AnchorLoop 与 Agent0 进行对照，在 13 个推理基准上展开评测。结果显示，该方法在数学推理与通用推理任务上均优于基线，同时维持了更高的有效优势方差。更值得注意的是迭代后期的走势：随着轮次推进，AnchorLoop 仍在继续提升，而未加锚点的基线则表现出增益递减。作者由此认为，在不需要外部任务或答案监督的前提下，为自演化工具集成智能体引入一个轻量的历史参照是有益的。这一结论的适用范围限于所评测的推理基准与上述训练框架，材料未涉及其他任务类型或部署场景的验证。

为什么值得看

自进化智能体训练中反馈信号退化的具体解法，附 13 个基准上的量化提升，适合关注智能体训练与强化学习的人。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Self-Evolve With a Reference:Anchored Training of Tool-Integrated Agents

关键事实

  • 论文提出 AnchorLoop，引入上一轮 Executor 的冻结副本作为历史参考，并复用于训练回路两侧。[1]

  • 对 Executor，锚点提供跨参考优势，将当前输出与当前及历史多数答案对比；对 Curriculum，提供基于采样多数一致率差异的参考。[1]

  • 在 13 个推理基准上，AnchorLoop 相比 Agent0 在数学推理提升 2.5%，通用推理提升 2.8%。[1]

  • 该方法保持更高的有效优势方差，后续迭代持续改进，而无锚点基线增益递减。[1]

  • 由于 Curriculum 训练阶段 Executor 与锚点参数相同，该比较仅作为任务选择代理，不代表版本间改进或正确性。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论