注册

OpenVLHarness 用多模态记忆提升视觉智能体工具调用

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架。能力层把任务级工具接口与证据渲染结合起来，统一访问异构后端并把输出转成模型可读的观察；持久多模态记忆把图像、结构化数据和网页引用保留为可寻址工件；编码接口在已存数据上执行生成的程序，从而组合多个工具的结果。在 22 个基准、八个开源与专有骨干模型上评测，平均分比匹配的无工具基线高 9.7 至 12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、Kimi K3 提升 9.7 分、GPT-6 Astra 提升 9.9 分。使用 GPT-6 Luna 中等推理强度时，其表现超过基座模型、Codex 与 Visual Sketchpad 在最高强度下的结果 7.7 至 8.5 分，模型 token 开销至多为后者的 37%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

为何需要外部工具

论文先给出一个受控实验结论：在 22 个基准上，仅提高基座模型的推理预算，带来的分数增长比较有限。作者认为，有一类任务所需的证据难以靠模型内部推理获得，需要落地的感知、外部知识以及通过多种异构工具取得的数值测量。难点不只在调用工具，还在于工具输出要能被模型读懂，并且要在后续推理步骤中持续可用。OpenVLHarness 的设计正是围绕这两点展开，而不是单纯扩大推理算力。

能力层与记忆的分工

框架分为能力层与持久多模态记忆两部分。能力层把任务级工具接口和证据渲染放在一起，为不同的异构后端提供一致的访问方式，并把它们的原始输出转换成模型可读的观察结果。持久多模态记忆则在一次查询的整个过程中，把对应的图像、结构化数据和网页引用保存为可寻址的工件，使前面步骤取得的证据在后续步骤中仍能被定位和引用。两者配合，支撑起获取、检查、组合多模态证据的迭代流程。

编码接口与结果

在存储的数据之上，框架提供一个编码接口，用来执行模型生成的程序，从而完成需要合并多个工具结果的计算。评测覆盖 22 个基准和八个开源与专有骨干模型，平均分相对匹配的无工具基线提升 9.7 至 12.6 分，具体包括 Qwen3-VL-8B 的 11.2 分、Kimi K3 的 9.7 分和 GPT-6 Astra 的 9.9 分。在成本方面，使用 GPT-6 Luna 中等推理强度时，其成绩比基座模型、Codex 和 Visual Sketchpad 在最高推理强度下的表现高出 7.7 至 8.5 分，同时模型 token 开销至多为这些方案的 37%。

为什么值得看

给出视觉智能体接入外部工具与跨步骤保留证据的具体做法，并附多骨干、多基准的量化对比与成本数据。

GPTQwen多模态智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

关键事实

  • 论文在 22 个基准上做受控研究，发现单纯提高基座模型推理预算带来的收益有限[1]

  • OpenVLHarness 由能力层与持久多模态记忆组成，能力层含任务级工具接口与证据渲染[1]

  • 在八个开源与专有骨干上，平均分比匹配的无工具基线高 9.7 至 12.6 分[1]

  • Qwen3-VL-8B 提升 11.2 分，Kimi K3 提升 9.7 分，GPT-6 Astra 提升 9.9 分[1]

  • GPT-6 Luna 中等推理强度下超过基座模型、Codex 与 Visual Sketchpad 最高强度 7.7 至 8.5 分，token 开销至多 37%[1]

相关 · 论文

arXiv 论文提出 VAG 门控方法，改进多模态强化学习中的自蒸馏

10月20日 周二·AI 68

CoopUQ：用不确定性感知协同预测提升多机器人社交导航

10月20日 周二·AI 68

arXiv 论文提出 PhysRSI-eval，用五轴指标衡量视觉语言模型的物…

10月20日 周二·AI 72

WeAct 将 LoRA 适配器选择纳入智能体动作空间

10月20日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论