ComputerSD提出计算机代理在线自蒸馏新方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把实时反馈变成学习信号
ComputerSD 的做法是让计算机使用智能体在与可执行环境交互的过程中持续获得训练信号。以往这类在线训练主要依赖稀疏的结果奖励，也就是只在任务结束时给出成败判断，中间每一步操作得不到任何监督。ComputerSD 转而利用已执行 GUI 转换产生的实时反馈：每次动作之后，一个经过微调的 GUI 分析器会输出两部分内容，一是指导信息，二是该步骤的价值分数。指导信息充当特权上下文，价值分数则用来调节由此产生的自蒸馏信号。这样，原本只在终点出现的奖励被拆解到动作层面，中间步骤也有了可用的监督来源。
两路信号如何协同优化
在优化层面，ComputerSD 同时处理两个不同粒度的目标：词元级的在线策略自蒸馏，以及轨迹级的 GRPO。前者借助特权重打分提供细粒度的学习信号，后者从整条轨迹的成败中提取方向。两者在一个完全异步的训练框架里联合优化，互不阻塞。论文指出，直接把在线策略自蒸馏搬到计算机使用智能体的在线训练上会遇到两个问题：固定的指导可能与学生当前所处的状态不匹配；指导带来的概率偏移也可能与单步操作的正确性相冲突。引入步骤级价值分数对自蒸馏信号进行调节，正是针对这两点。
对比结果与适用范围
在 OSWorld-Verified 上，ComputerSD 与仅使用结果奖励的 GRPO 做了对照。在通用型 Qwen3-VL-8B-Thinking 上，前者高出 1.9 个百分点；在专用型 EvoCUA-8B 上，高出 4.1 个百分点。论文还报告了分布外设置下的评测，用以说明该方法具备一定的泛化能力。这些数字说明，把实时反馈转化为自蒸馏指导，在两种不同定位的骨干模型上都能带来提升，且提升幅度在专用模型上更明显。需要留意的是，评测集中在 OSWorld-Verified 这一环境，方法本身依赖可执行环境提供的实时反馈以及一个经过微调的 GUI 分析器，脱离这些条件时效果如何，材料未作说明。
对使用者的实际含义
对关注计算机使用智能体训练的人来说，这项工作给出的提示是：结果奖励之外，动作执行过程中产生的反馈同样可以转化为监督信号，而且不需要额外的人工标注，只需一个能对界面转换做出判断的分析器。步骤级价值分数在这里承担了筛选与调节的角色，避免指导信息把策略带偏。异步框架的设计则意味着词元级与轨迹级两种优化可以并行推进，不必串行等待。论文提交于 2026 年 9 月 30 日，编号 arXiv:2609.40253，同时归入计算机视觉与人工智能两个分类。
为什么值得看
解决CUA中间动作缺乏监督的痛点，通过实时反馈与异步联合优化显著提升模型交互成功率与泛化性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。