BEAKER：面向自动驾驶化学实验室的具身智能基准发布
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队发布 BEAKER 基准，用于评估自驱动化学实验室（SDCL）中多模态大模型作为「具身大脑」的执行能力。该基准含 1000 条专家标注问答样本，覆盖 11 种图像与视频任务类型，涵盖可供性定位、轨迹规划、设备与状态识别、安全规范、装置搭建、操作步骤与时序推理等判断。所有题目由化学与具身 AI 专家手工创建与审核，未使用 AI 辅助生成。团队在离线单轮设置下评测了 28 个通用、科学、化学专用及具身多模态模型，结果显示模型能跟随视频中的粗粒度实验流程，但在把动作落到可操作区域与可行轨迹、识别细粒度设备状态与安全规范、对中等长度流程排序上仍存在困难。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准填补的空白
自驱动化学实验室正把化学实验推向具身自动化：机器需要感知实验室场景、推理实验状态，并在物理、流程与安全约束下行动。多模态大模型被越来越多地视作这类系统的「具身大脑」，但现有实验室基准主要考察安全、异常检测或通用科学理解，对执行导向的具身能力覆盖不足。BEAKER 正是针对这一缺口提出，其名称对应具身可操作性、知识、实验与推理四个评估维度。
任务构成与标注方式
BEAKER 收录 1000 条专家标注问答样本，横跨 11 种图像与视频任务类型，覆盖化学实验室执行所需的关键判断：可供性定位、轨迹规划、设备识别、状态识别、安全识别、装置搭建、操作与步骤推理，以及时序流程推理。所有题目和标注均由化学与具身 AI 领域专家手工创建并复核，没有采用 AI 辅助生成或标注，这一点决定了样本反映的是专家对实验执行细节的判断标准。
评测结果暴露的短板
研究在离线、单轮设置下评测了 28 个模型，涵盖通用、科学导向、化学专用与具身多模态几类。整体来看，模型能够跟随视频中的粗粒度实验流程，但在若干执行环节明显吃力：把动作对应到可操作区域与可行轨迹、识别细粒度实验室设备、状态与安全规范，以及对中等长度流程中的步骤排序。这说明粗粒度的流程理解与实验室执行所需的精确、动作落地的感知之间仍有明显距离，BEAKER 由此提供了诊断这一差距的工具。
为什么值得看
想了解多模态模型在真实实验室执行场景中究竟卡在哪一环，这份人工标注基准给出了具体的能力缺口清单。
大模型多模态安全
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。