WebKD:用黑盒教师改写学生失败轨迹来蒸馏网页智能体

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对闭源教师模型无法提供 logits、只能离线模仿演示的问题,作者提出 WebKD:让教师充当学生失败回合的编辑者,定位首个出错点,从该点起改写学生的推理轨迹、harness 状态与动作。方法上,教师在数据空间用学生自己的风格书写修正,在目标空间按推理对动作的贡献加权,并用角色非对称 KL 锚让修正后的动作自由移动、同时把推理保持在学生先验附近。在 TimeWarp 基准上,WebKD 学生比行为克隆、结果奖励强化学习和教师编辑基线高出约 5.5 至 10.7 个百分点,性能可迁移到未见版本与 OnlineMind2Web 的真实网页环境。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

闭源教师蒸馏的困境

前沿网页智能体多依赖闭源模型,推理与算力开销高。改用较小的开源模型是替代方案,但要达到可用水平,通常需要人类或教师模型提供训练监督。token 级教师蒸馏需要访问教师模型的 logits,闭源教师无法满足,因此常见做法是离线模仿教师演示。这种做法的两个问题在论文中被点明:学生会训练在自己从未访问过的状态上,并且被要求用自己不会写的风格输出。WebKD 正是针对这两点设计。

把教师变成失败编辑者

WebKD 的设定是让教师编辑学生的失败。给定一个失败回合,教师先找到第一个出错的位置,然后从该点开始重写学生的推理轨迹、harness 状态与动作。论文提到,教师的修正对学生而言可能比学生自己写的文本更令人意外,因此 WebKD 追求最小化编辑,而不是整段替换。这一思路把教师的作用从提供标准答案转为在关键分叉点纠偏,学生仍保留自己的表达方式。

数据与目标空间的双重约束

在数据空间,教师把每条修正写成学生自己的风格,避免风格错配带来的额外学习负担。在目标空间,推理部分按其对动作的贡献加权,使监督信号集中在真正影响决策的推理上。此外引入角色非对称 KL 锚:修正后的动作可以自由移动,而推理则被约束在学生先验附近。这样既允许动作层面的纠正,又不让学生的推理分布被教师整体带偏。

基准结果与迁移表现

在 TimeWarp 基准上,WebKD 学生相对行为克隆、结果奖励强化学习以及教师编辑基线,提升约 5.5 至 10.7 个百分点。论文还报告该性能可迁移到未见版本,并在 OnlineMind2Web 基准的真实网页环境中得到验证。作者将 WebKD 定位为一种蒸馏黑盒模型、提升开放权重网页智能体能力的新途径。

为什么值得看

闭源教师无法做 token 级蒸馏,WebKD 给出只靠失败轨迹编辑就能提升开源网页智能体的可行路径。

智能体强化学习蒸馏论文

信源1 家

  1. [1]arXiv cs.AI一手信源Teaching Agents in their Own Style: Blackbox Teacher Distillation for Web Agents

关键事实

  • 论文提出 WebKD,让教师作为学生失败回合的编辑者,定位首个错误点并改写其后的推理轨迹、harness 状态与动作。[1]

  • 教师在数据空间用学生自己的风格写修正,在目标空间按推理对动作的贡献加权,并用角色非对称 KL 锚约束推理靠近学生先验。[1]

  • 在 TimeWarp 基准上,WebKD 学生比行为克隆、结果奖励 RL 和教师编辑基线提升约 5.5 至 10.7 个百分点。[1]

  • 性能可迁移到未见版本以及 OnlineMind2Web 基准的真实网页环境。[1]

  • 论文于 2026 年 10 月 14 日提交,编号 arXiv:2610.19834,作者为 Md Farhan Ishmam 与 Kenneth Marino。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。