研究者发布 MMEnterprise-Bench,评测企业智能体处理演进多模态…

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 MMEnterprise-Bench 基准,包含 1,613 个问题,题目基于模拟协作项目中不断演进的多模态记录,覆盖证据推理、冲突消解与不可回答三类任务。作者评测了 10 个闭源与开源多模态大模型,发现即使最强模型在证据存在跨来源冲突、时间冲突或跨多张图片时仍表现吃力;提高检索预算或换用更大的检索器能提升证据召回,却未稳定转化为更高的答题准确率。代码与数据已公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准要解决什么问题

企业工作区里的信息并非静态:文档、聊天与图表在团队协作中被分享、纠正和改写,同一事实会积累出多个版本。智能体要可靠作答,就必须找到足够证据、处理跨来源与跨时间的矛盾,并在证据不足以支撑结论时明确表示无法回答。MMEnterprise-Bench 正是围绕这三种能力设计,题目全部来自模拟协作项目中的演进多模态记录,共 1,613 个问题,划分为证据推理、冲突消解与不可回答三类。

评测发现与限制

作者对 10 个闭源和开源多模态大模型做了测试,结果显示即使表现最好的模型,在证据包含跨来源冲突、时间冲突或需要跨多张图片整合时也会明显失手。另一个值得注意的现象是:加大检索预算或换用更大的检索器,确实能提高证据召回率,但这种提升没有稳定地转化为最终答案准确率,说明瓶颈更多在推理与冲突判断环节,而非单纯找不到材料。论文共 35 页、16 幅图(含附录),代码与数据已公开,可作为后续改进企业智能体的测试平台。

为什么值得看

企业智能体落地时最棘手的是多版本文档与图文混排中的冲突信息,这个基准给出了可复现的评测口径与失败模式。

大模型多模态智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records

关键事实

  • MMEnterprise-Bench 含 1,613 个问题,基于模拟协作项目中演进的多模态记录构建[1]

  • 基准分证据推理、冲突消解、不可回答三类任务[1]

  • 作者评测了 10 个闭源与开源多模态大模型[1]

  • 提高检索预算或使用更大检索器可提升证据召回,但未稳定带来更高答题准确率[1]

  • 论文共 35 页、16 幅图,含附录,代码与数据已公开[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。