ActiveEvidence:可验证证据获取缺口的多模态决策框架

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿于 arXiv cs.AI 的论文提出 ActiveEvidence,研究多模态智能体在免费元数据与付费观测边界下,判断视觉证据是否值得获取、查询哪个候选或分辨率、以及何时继续交互不再改变决策。方法用反事实证据交互图表示一元证据价值、带符号二阶交互与有向条件损害,并保留未解析交互的分数包络;决策加权包络目标收紧可能改变动作身份的边界,缺口导向细化只评估能改变当前获取选择的交互,直到 ε-决策证书表明未解析项无法在给定容差外改变所选动作。在 640 个案例上,控制器取得任务分数 0.842、grounding F1 0.816、证据召回 0.873、1.74 次接受调用、286.5K 视觉 token、742ms p95 延迟;密集重放显示动作一致率 0.992、证书率 0.988,每决策评估 19.6 个而非 191.4 个昂贵交互项。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定与边界

论文研究多模态智能体在严格免费元数据与付费观测边界下的证据获取问题,同时存在随机向量成本与冻结执行轨迹。智能体需要决定视觉证据是否值得获取、查询哪个候选或分辨率,以及何时进一步交互不再改变决策。作者将这一设定称为决策可认证的主动证据获取,并把成本与决策分离处理:在线操作成本过滤器与独立的有限策略族轨迹认证相互独立,获取监视器配合独立实现的验证器把每份证书绑定到冻结轨迹上。

图结构与证书机制

方法核心是反事实证据交互图,用来表示一元证据价值、带符号二阶交互和有向条件损害,同时为尚未解析的交互保留显式分数包络。决策加权包络目标专门收紧那些可能改变动作身份的边界。缺口导向细化只评估能够取代当前获取选择的交互,一旦 ε-决策证书显示未解析项无法在声明容差之外改变所选动作,细化即停止。证书被描述为模型相对的:它在固定学习分数下验证策略一致最优性,语义质量则通过冻结后的标签另行衡量。配对延续 rollout 用于学习付费预览的下游价值。

实验数据与效率

实验在 640 个案例上进行,按 384/128/128 划分为训练、验证与测试。控制器取得任务分数 0.842、grounding F1 0.816、证据召回 0.873,平均 1.74 次接受调用,消耗 286.5K 视觉 token,p95 延迟为 742ms。对已发出证书的密集重放显示动作一致率 0.992、证书率 0.988,同时每决策只需评估 19.6 个昂贵交互项,而基线为 191.4 个。论文共 19 页、8 幅图,归类于 cs.AI、cs.CV 与 cs.LG。

为什么值得看

给出多模态智能体在成本约束下决定是否获取视觉证据的可验证停止准则与实测数据,对做 agent 决策与评测的读者有参考价…

多模态智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源ActiveEvidence: Decision-Focused Evidence Graphs with Verifiable Acquisition Gaps

关键事实

  • 论文提出反事实证据交互图(CEIG),表示一元证据价值、带符号二阶交互与有向条件损害,并保留未解析交互的显式分数包络。[1]

  • 缺口导向细化只评估可能改变当前获取选择的交互,并在 ε-决策证书表明未解析项无法在声明容差外改变所选动作时停止。[1]

  • 在 640 个案例(384/128/128 训练、验证、测试)上,控制器达到任务分数 0.842、grounding F1 0.816、证据召回 0.873、1.74 次接受调用、286.5K 视觉 token、742ms p95 延迟。[1]

  • 密集重放显示动作一致率 0.992、证书率 0.988,每决策评估 19.6 个而非 191.4 个昂贵交互项。[1]

  • 证书是模型相对的:在固定学习分数下验证策略一致最优性,语义质量通过冻结后标签单独衡量。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。