注册

GRADUS 用环境潜在课程训练智能体，30B 模型在 τ²-Bench 从 …

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

论文提出 GRADUS 方法，用于训练受策略约束的工具环境中的 LLM 智能体。它不依赖种子任务，而是把固定环境当作潜在课程，提取受约束的行为算子，刻画动作如何依赖当前条件、其效果又如何改变后续决策，再把这些算子组合成难度递增的任务，并用语料级反馈补齐缺失的结果组合。任务与解会依据执行反馈联合校准，验证因此成为恢复信号而非终局过滤器。在现成基座模型上，30B 模型在 τ²-Bench 从 59% 提升到 89%，在 CAR-Bench 从 47% 提升到 83%（Opus 4.5 作为提议者）；换用开源 Qwen3-235B 提议者时，两项分别为 76% 和 62%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法出发点

现有合成流程让模型自行提出任务，只保留模型能立刻解出的那些，训练数据因此偏向较容易的行为。GRADUS 针对的正是这一偏差，面向的是带策略约束的工具环境，例如同时包含订票、退款与取消规则的航空后台，这类环境需要任务既能单独检验规则，也能检验规则组合。GRADUS 的做法是把“任务应当教会什么”与“用哪个具体任务和解来教”拆开，从而避免任务设计被模型当前能力牵着走。

课程如何生成

GRADUS 不使用种子任务，而是把固定环境当作一份潜在课程，从中提取受约束的行为算子，用来刻画动作如何依赖当前条件，以及动作效果如何重塑后续决策。这些算子被组合成难度逐步提高的任务，同时借助语料级反馈，专门补向尚未覆盖的结果组合。任务与解并非各自独立生成，而是对照环境联合校准：执行反馈用于判断应当修正任务一侧还是解一侧，同时保留原本要求的行为约束。验证环节因此不再只是末端筛除，而成为把困难样例保留下来的恢复信号，把覆盖度引导的探索与难例保留结合起来。

基准结果

在现成基座模型上，这套课程带来的提升以两个基准衡量。以 Opus 4.5 作为提议者时，30B 模型在 τ²-Bench 上从 59% 升到 89%，在 CAR-Bench 上从 47% 升到 83%。把提议者换成开源权重的 Qwen3-235B 后，同一 30B 模型在两项基准上分别达到 76% 和 62%，仍高于起点，但低于 Opus 4.5 提议者的配置。这组对比说明，提议者能力会影响最终课程质量，而方法本身在开源提议者下依然有效。

结果说明了什么

论文把结论落在两点控制上：探索哪些行为，以及哪些行为能存活进入经过验证的训练数据。GRADUS 将二者放在同一流程中联合调节，而不是先大量生成再末端过滤。对做智能体训练的人来说，可迁移的部分是这种以环境规则为课程来源、以执行反馈同时修正任务与解的思路；材料未给出方法在其它环境类型上的表现，也未说明训练成本与所需执行反馈量。

为什么值得看

它把环境规则本身当作训练课程来源，并给出可量化的智能体能力提升幅度，对做工具调用与策略约束智能体训练的人有直接参考价值。

Qwen智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源GRADUS: Discovering and Recovering Agent Lessons from the Environment's Latent Syllabus

关键事实

  • GRADUS 不依赖种子任务，把固定环境视为潜在课程，提取受约束的行为算子并组合成难度递增的任务[1]

  • 方法用执行反馈联合校准任务与解，使验证成为恢复信号而非终局过滤器[1]

  • 30B 模型在 τ²-Bench 上从 59% 提升到 89%，在 CAR-Bench 上从 47% 提升到 83%，提议者为 Opus 4.5[1]

  • 改用开源 Qwen3-235B 作为提议者时，两项基准分别为 76% 和 62%[1]

  • 论文提交于 2026 年 10 月 20 日，编号 arXiv:2610.27781[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论