研究者发布 MMEnterprise-Bench,评测企业智能体处理演进多模态…
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 MMEnterprise-Bench 基准,包含 1,613 个问题,题目基于模拟协作项目中不断演进的多模态记录,覆盖证据推理、冲突消解与不可回答三类任务。作者评测了 10 个闭源与开源多模态大模型,发现即使最强模型在证据存在跨来源冲突、时间冲突或跨多张图片时仍表现吃力;提高检索预算或换用更大的检索器能提升证据召回,却未稳定转化为更高的答题准确率。代码与数据已公开。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载基准要解决什么问题
企业工作区里的信息并非静态:文档、聊天与图表在团队协作中被分享、纠正和改写,同一事实会积累出多个版本。智能体要可靠作答,就必须找到足够证据、处理跨来源与跨时间的矛盾,并在证据不足以支撑结论时明确表示无法回答。MMEnterprise-Bench 正是围绕这三种能力设计,题目全部来自模拟协作项目中的演进多模态记录,共 1,613 个问题,划分为证据推理、冲突消解与不可回答三类。
评测发现与限制
作者对 10 个闭源和开源多模态大模型做了测试,结果显示即使表现最好的模型,在证据包含跨来源冲突、时间冲突或需要跨多张图片整合时也会明显失手。另一个值得注意的现象是:加大检索预算或换用更大的检索器,确实能提高证据召回率,但这种提升没有稳定地转化为最终答案准确率,说明瓶颈更多在推理与冲突判断环节,而非单纯找不到材料。论文共 35 页、16 幅图(含附录),代码与数据已公开,可作为后续改进企业智能体的测试平台。
为什么值得看
企业智能体落地时最棘手的是多版本文档与图文混排中的冲突信息,这个基准给出了可复现的评测口径与失败模式。
大模型多模态智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
