Dual Exam 基准发布：分别评测多模态智能体与世界模型
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 上提交的论文 Dual Exam 提出一种受控评测方法，把多模态智能体与世界模型的评测分开：智能体在固定的环境响应机制下测试，世界模型在固定的动作干预下测试，覆盖物理、数字、社交与科学四类领域。智能体赛道在 15 个报告类别、1088 个条目上比较 10 种配置；世界模型赛道包含 8 个场景共 400 个案例，其中 15 种配置实现全覆盖，另有 1 种覆盖 6 个场景。按案例加权，GPT 6 Astra 以 31.3 居智能体指数首位，GPT-Image-2 以 21.7 居全覆盖世界模型总评首位；两者任务与指标不同，分数不可直接比较。一个耦合配对试点的 150 个案例中，任务成功数为零。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载分开测的两条赛道
Dual Exam 的核心设计是把智能体与世界模型的证据分开采集。智能体一侧固定环境的响应机制，只观察动作选择；世界模型一侧固定动作干预，只观察状态如何演化。评测横跨物理、数字、社交与科学四类领域，目的是让两类系统各自的能力有独立来源，而不是混在一个端到端分数里。论文摘要强调，这种拆分是评估二者互动关系的前提。
规模与分数
智能体赛道在 15 个报告类别下覆盖 1088 个条目，共比较 10 种配置。世界模型赛道由 8 个场景的 400 个案例组成，其中 15 种配置做到全覆盖，另有 1 种配置覆盖 6 个场景。结果方面，GPT 6 Astra 在按案例加权的智能体指数上以 31.3 排在首位；GPT-Image-2 在全覆盖世界模型总评上以 21.7 领先。摘要明确提示，这两组分数基于不同任务与不同指标，不能直接横向比较。
耦合试点的零成功
除两条独立赛道外，论文还报告了一个耦合配对的试点：150 个案例中任务成功数为零。这个结果出现在摘要末尾，作者用它来引出对组件化评测的讨论。由于材料只给出这一数字，没有展开该配对的具体设置与失败原因，这里不做延伸。
为什么值得看
它把智能体与世界模型的评测拆开，给出可复现的受控设置与具体分数，便于判断两类系统的能力边界。
GPT多模态智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。