注册

LabOPBench：756题多模态实验室决策基准发布

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者发布 LabOPBench，一个面向有机合成与材料科学的多模态基准，包含 756 道由专家撰写并经独立评审的题目。每道题把实验室证据与流程背景、开放式判断配对，用题目专属评分标准评估。八个多模态模型总体归一化得分仅 28.8% 至 45.8%。在受控的 100 题子集上，最强模型平均表现超过本科生参与者，但仍低于博士生参与者平均水平。对三个领先模型回答的专家分析指出，主要错误模式为证据误读与证据-决策冲突。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

756道专家撰写题目

LabOPBench 是一个面向实验室决策的多模态基准，收录了 756 道题目，全部由专家撰写并经过独立评审，覆盖有机合成与材料科学两个方向。每一道题都把实验室证据与操作流程背景放在一起，要求作答者给出开放式的判断，而不是从固定选项里挑选答案。评分方式也不是统一的客观对错，而是针对每道题单独设计的评分细则，由细则来判断回答是否成立。这种设计把评测对象从「记住步骤」转向「依据眼前的证据做判断」，因为真实的实验过程并不只是照着预设流程走，实验状态一旦变化，就需要随之调整做法。题目数量、领域范围、评审方式与评分机制共同构成了这个基准的基本形态。

八模型得分区间

论文让八个多模态模型参加了测试，它们取得的总体归一化分数落在一个区间内，距离理想水平仍有明显差距。为了把模型表现放到人类参照系里看，作者另外设置了一个受控的 100 题子集，在这个子集上，表现最强的模型平均成绩超过了本科生参与者，但仍低于博士参与者的平均水平。这一对比说明模型已经能在部分题目上达到一定水准，却还没有稳定跨过更高一档的门槛。需要留意的是，这个人类对照只在受控子集上进行，并非全部题目，因此它反映的是特定范围内的相对位置，而不是整体能力的全面排序。

两类主要错误

作者对三个领先模型的回答做了专家分析，归纳出两种占主导地位的错误类型：一是证据误读，二是证据与决策之间的冲突。前者指模型没有正确理解题目给出的实验室证据，后者指模型虽然接触到了证据，最终给出的判断却与证据指向不一致。这两种错误都落在「把多模态感知转化为可靠实验室决策」这一环节上，说明当前的瓶颈不只是识别图像或文本，而是如何让识别结果真正参与到判断之中。论文由此得出结论，现有模型在完成这一转化时仍有困难。该基准共 24 页、含 7 幅图，附录也包含在内。

为什么值得看

给出多模态模型在真实实验室判断上的量化差距，并指出证据误读这一具体失败模式，对做科学智能与多模态评测的团队有直接参考价…

多模态

信源1 家

  1. [1]arXiv cs.AI一手信源LabOPBench: A Multimodal Benchmark for Evidence-Grounded Laboratory Decision Making

关键事实

  • LabOPBench 包含 756 道由专家撰写、经独立评审的题目，覆盖有机合成与材料科学。[1]

  • 八个多模态模型的总体归一化得分为 28.8% 至 45.8%。[1]

  • 在受控的 100 题子集上，最强模型平均超过本科生参与者，但低于博士生参与者平均水平。[1]

  • 对三个领先模型的专家分析识别出证据误读与证据-决策冲突为主要错误模式。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论