注册

Caddie：用任务结果训练 LLM 智能体评论者

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Caddie，训练评论者在智能体执行多步任务时给出自然语言分析与建议。与依赖步骤级标签或参考评论的做法不同，Caddie 只依据智能体收到反馈后最终是否成功来学习，通过强化学习优化评论者，同时保持基础模型冻结。在单基础模型上用多跳问答训练后，Qwen3-4B 评论者在四种不同规模与架构的基础模型上提升成功率，其中三种未参与评论者训练。在 MuSiQue 基准上，该评论者让 Qwen3-4B 成功率提升超过 25 个百分点，超过无评论者的 Kimi K3。同一评论者在 τ³ 与 DeepDive 等域外交互基准上无需额外训练也有增益。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

评论者训练的新思路

论文关注的是大语言模型智能体在执行多步任务时，如何借助自然语言反馈修正决策。已有工作表明这类反馈有帮助，但 Caddie 的不同之处在于训练评论者的信号来源：它不看每一步的标签，也不依赖人工或模型写好的参考评论，而是看智能体在收到评论者建议之后，整个任务最终有没有成功。评论者本身用强化学习来优化，而它所服务的基础模型在整个过程中保持冻结，不参与更新。这样做的目的是让评论者学会给出对完成任务真正有用的分析与建议，而不是模仿某种固定的批评格式。

跨模型与跨域的迁移效果

实验在单基础模型上用多跳问答任务训练评论者。结果显示，训练出的 Qwen3-4B 评论者能在四种不同规模和架构的基础模型上提升成功率，其中三种基础模型并未参与评论者的训练过程。在 MuSiQue 基准上，该评论者让 Qwen3-4B 的成功率提升超过 25 个百分点，并且超过了没有评论者辅助的 Kimi K3。同一评论者在域外的交互式基准 τ³ 和 DeepDive 上也带来增益，且不需要额外训练。论文还指出，智能体可以在推理阶段自行决定何时向评论者求助。

论文的基本信息

该论文提交于 2026 年 10 月 7 日，作者为 Sergei Polezhaev、Barys Liskavets、Ori Press 与 Alexander Golubev，共 26 页、11 张图，归类于计算与语言、人工智能及机器学习方向，arXiv 编号为 2610.09858。论文的核心主张是：基于结果来训练评论者，能够产生可跨基础模型和任务域迁移的指导，同时智能体在推理时可以自主判断是否需要求助。

为什么值得看

结果驱动的评论者训练可跨基础模型与任务域迁移，为智能体自我纠错提供新思路。

Qwen智能体强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源Training Advisors for LLM Agents from Task Outcomes

关键事实

  • 论文提出 Caddie，训练评论者在智能体执行任务时提供自然语言分析与建议。[1]

  • Caddie 从智能体收到评论者反馈后最终是否成功来学习，而非依赖步骤级标签或参考评论。[1]

  • 训练时通过强化学习优化评论者，基础模型保持冻结。[1]

  • 在 MuSiQue 基准上，训练后的评论者让 Qwen3-4B 成功率提升超过 25 个百分点，超过无评论者的 Kimi K3。[1]

  • 同一评论者在 τ³ 与 DeepDive 等域外交互基准上无需额外训练也有增益。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论