OpenVLHarness 用多模態記憶提升視覺智能體工具調用
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載為何需要外部工具
論文先給出一個受控實驗結論：在 22 個基準上，僅提高基座模型的推理預算，帶來的分數增長比較有限。作者認為，有一類任務所需的證據難以靠模型內部推理獲得，需要落地的感知、外部知識以及通過多種異構工具取得的數值測量。難點不只在調用工具，還在於工具輸出要能被模型讀懂，並且要在後續推理步驟中持續可用。OpenVLHarness 的設計正是圍繞這兩點展開，而不是單純擴大推理算力。
能力層與記憶的分工
框架分為能力層與持久多模態記憶兩部分。能力層把任務級工具接口和證據渲染放在一起，為不同的異構後端提供一致的訪問方式，並把它們的原始輸出轉換成模型可讀的觀察結果。持久多模態記憶則在一次查詢的整個過程中，把對應的圖像、結構化數據和網頁引用儲存為可尋址的工件，使前面步驟取得的證據在後續步驟中仍能被定位和引用。兩者配合，支撐起獲取、檢查、組合多模態證據的迭代流程。
編碼接口與結果
在存儲的數據之上，框架提供一個編碼接口，用來執行模型生成的程序，從而完成需要合併多個工具結果的計算。評測覆蓋 22 個基準和八個開源與專有骨幹模型，平均分相對匹配的無工具基線提升 9.7 至 12.6 分，具體包括 Qwen3-VL-8B 的 11.2 分、Kimi K3 的 9.7 分和 GPT-6 Astra 的 9.9 分。在成本方面，使用 GPT-6 Luna 中等推理強度時，其成績比基座模型、Codex 和 Visual Sketchpad 在最高推理強度下的表現高出 7.7 至 8.5 分，同時模型 token 開銷至多為這些方案的 37%。
為什麼值得看
給出視覺智能體接入外部工具與跨步驟保留證據的具體做法，並附多骨幹、多基準的量化對比與成本數據。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。