Marvo：用 margin reward 让视觉智能体从无标注图像自学工具调用
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载双智能体自我演化框架
Marvo 把工具调用能力的学习拆给两个角色承担。其中一个角色是出题方，它从没有标注的图片里生成问题与答案配对；另一个角色是解题方，它通过强化学习去回答这些问题，并在过程中学会调用工具。这样做的直接好处是绕开了对人工整理问答数据或专家示范的依赖，因为这类数据在规模上获取成本很高。出题方与解题方形成一种相互推动的关系：出题方不断产出新的题目，解题方在解题中更新自己的工具使用策略。整个流程不需要人工标注的图片，输入侧只要求有图像本身。研究给出的定位是一种简洁而有效的自我演化路径，目标场景是那些把推理与工具调用交替进行的多模态任务。
边际奖励如何定义
为了让出题方产出的题目真正有用，作者给挑战者设计了边际奖励。这个奖励的取值方式是：比较解题方在能够使用工具和不能使用工具两种条件下的表现，取两者之差。差值反映的是工具究竟带来了多少额外收益。由此可以理解奖励的导向：如果一道题不用工具也能解出来，差值就小，说明这道题对训练工具调用帮助有限；如果一道题难到解题方即使有工具也做不好，同样不利于学习。边际奖励把出题方向引向中间地带——题目要有足够难度，使得调用工具成为必要，同时又落在解题方当前能力可及的范围内。基于这一信号，训练过程形成了一种自适应的课程安排，题目的复杂度随解题方能力变化而调整，而不是由人预先设定。
评测覆盖与提升幅度
论文在多个基准上验证了 Marvo，覆盖的范围包括智能体推理、视觉搜索、数学以及一般真实世界推理这几类任务。在这些基准上，Marvo 把平均准确率最多提升了 7.1 个百分点。作者据此提出，边际奖励是一种在没有人监督的条件下扩展问题复杂度的可行方式。需要说明的是，这一提升幅度是跨基准的平均准确率上限值，并非在每一个单项任务上都达到同样水平。论文提交于 2026 年 10 月 10 日，作者为 Wenxi Yang、Yuzhong Zhao、Baochang Zhang、Yunfan Liu 与 Qixiang Ye，编号为 arXiv:2610.15084，属于 cs.AI 分类。
对使用者的实际含义
从方法本身看，Marvo 的价值在于把训练数据的生产环节内化到系统内部：只要手头有未标注的图像，就有可能启动这一自我演化流程，而不必先投入人力去构造问答对或录制专家操作。边际奖励则提供了一个不需要人工判断的难度调节旋钮，让课程随解题方水平自动推进。它的适用范围与限制也来自同一处设计：奖励信号依赖解题方在有无工具两种条件下的表现对比，因此解题方本身的能力边界会直接影响出题方向；同时评测结果以若干基准上的平均准确率为衡量口径，跨任务的平均值并不能说明某一具体场景下的表现。对于关注多模态智能体工具调用训练的人来说，这条路线提供的是降低标注依赖的一种思路，而非对现有方案的全面替代。
为什么值得看
省去昂贵的人工问答标注，用无标注图像自举训练工具调用能力，对多模态智能体训练成本有直接影响。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。